【摘要】 本发明涉及一种计算机辅助汉语智能教学系统 及其实现方法。它包括带有麦克风和CD－ROM的多媒体计算 机、计算机多媒体汉语标准普通话教学节目、具有汉语标准普 通话特征内核的语音音素模板库、标准普通话教师语句特征模 板库、汉语语音信号处理及其识别子系统、语音学习评价子系 统、汉字书写信号处理及其模式识别子系统、汉字书写信号模 板库和书写评价子系统。本发明可以自动实时地进行汉语标准 普通话语音和书写学习效果的量化评价。 【专利类型】发明申请 【申请人】郭巧; 郭扬 【申请人类型】个人 【申请人地址】100095北京市81号信箱12分箱 【申请人地区】中国 【申请人城市】北京市 【申请人区县】西城区 【申请号】CN98101974.9 【申请日】1998-05-25 【申请年份】1998 【公开公告号】CN1236928A 【公开公告日】1999-12-01 【公开公告年份】1999 【IPC分类号】G06F17/20; G06F40/00 【发明人】郭巧 【主权项内容】1．一种计算机辅助汉语智能教学系统及其实现方法，主要包括一台 带有麦克风和CD-ROM的多媒体计算机、具有汉语标准普通话特征内 核的语音音素模板库、汉语标准普通话教师语句特征模板库、汉语语音 信号处理及其识别子系统、汉语语音学习评价和建议子系统、汉语书写 信号处理及其模式识别子系统、汉语书写信号模板库、汉语书写评价与 建议子系统、以及相应的计算机多媒体汉语标准普通话教学节目，其特 征在于： a．具有汉语标准普通话特征内核的语音音素模板库及其实现方法： 首先，将教师的标准普通话录像带教学节目按示教图象和语音信号分别 进行数字化处理，语音信号以汉语拼音/字/词/句子为单位，至少有男女 声两人发声样本，并按标准格式存储起来；针对多媒体动态图象部分， 建立起标准普通话教师发声过程示教动态多媒体图象数据库；针对语音 信号部分，建立起汉语标准普通话教师示教语料数据库；接着，进行语 音特征参数的提取；对标准普通话教师示教语料数据库中的语音数据信 号进行加窗；原始语料数据库的采样率为16khz，量化率为16位，单声 道，每帧样点数据为256个，帧移样点为128个，窗长约16ms；对帧 内数据进行FFT变换，之后，求取各帧的特征参数矢量；由每帧的特征 参数矢量，按清浊音判定规则将其划归为清音/浊音音素特征参数矢量 库；继续上述过程，直到清浊音分界帧出现，将对应于一个清音音素或 一个浊音音素(或静音)的所有帧特征参数矢量进行加权平均，得到相 应于该音素的特征参数矢量；重复上述过程，针对一个音素模板，我们 可以得到许多标准普通话特征参数矢量，由此构成了一个特征参数矢量 组；为了使这个特征参数矢量组能够很好地反映该音素的特征，采用 Kohonen自组织神经网络，对其进行自组织聚类运算，从而得到了对应 该音素的一个特征参数矢量内核空间域；重复上述过程，可以得到全部 标准普通话语音音素特征参数矢量内核空间域模板，并单独保存起来； 根据与上述相似的过程，采用非特定人大词汇量用于连续语音识别的汉 语语料数据库，我们可以得到非特定人大词汇量汉语语音音素模板库； 首先，对原始语音数据文件里的语音数据进行加窗；原始语料数据库的 采样率为16khz，量化率为16位，单声道，每帧样点数据为256个，帧 移样点为128个，窗长约16ms；对帧内数据进行FFT变换；之后，求 取各帧的特征参数矢量。由每帧的特征参数矢量，按清浊音判定规则将 其划归为清音/浊音组音素特征参数矢量；继续上述过程，直到清浊音分 界帧出现，将对应于一个清音音素或一个浊音音素的所有帧特征参数矢 量进行加权平均，得到相应于该音素的特征参数矢量；由于此处采用非 特定人大词汇量适合连续语音识别的汉语语料数据库，重复上述过程， 针对一个音素模板，我们可以得到许多特征参数矢量；将由标准普通话 语料库求得的内核特征参数矢量组与此新特征参数矢量组合并，构成一 个混合的特征参数矢量组；为了使这个混合特征参数矢量组能够很好地 反映该音素的特征，再次采用Kohonen自组织神经网络对混合特征参数 矢量组进行自组织聚类运算，从而得到了对应该音素的一个混合特征参 数矢量空间域；它显而易见地能够包容标准普通话特征内核模板，即可 以说，标准普通话特征内核模板可以作为混合语音音素模板的一个特征 参数矢量子集；为方便起见，可以将清音和浊音分成两组，建立两 个具有标准普通话特征内核的语音音素子模板库；这两个子模板库合在 一起作为本智能教学系统所需的非特定人大词汇量具有标准普通话特征 内核的汉语语音音素模板库； b．汉语标准普通话教师语句特征模板库及其实现方法：首先从教师 的标准普通话语音流信号中提取有调音节/字/词/句子/课文的特征参数矢 量串，并建立汉语标准普通话示教语句特征模板库；它由三部分组成， 即汉语标准普通话特征内核音素模板库、示教语句音素标号串模板库以 及示教语句声调韵律特征模板库；第一部分任务已经完成，第二部分的 实现过程为，针对教师的一个音节/字/词/句子/课文，可以得到相对应的 音素标号串模板，并将其存入示教语句特征模板库中；第三部分即示教 语句声调韵律特征模板库由示教语句基音频率轨迹模板集组成；表征四 声和韵律变化可以通过估计基音周期来得到部分实现，求取基音参数的 方法一般有基于短时自相关函数、基于短时AMDF、基于同态信号处理 和基于线性预测编码等几种算法；这里，选用基于短时自相关函数算法， 主要因为其运算量小，得到的效果又很好；在计算基音频率的过程中， 为解决第一最大峰值点的位置有时不能与基音周期吻合的问题，从以下 两个方面入手，一是使窗长至少大于两个基音周期，以取得较好的效果； 二是用一带宽为60-900Hz的带通滤波器对语音信号进行滤波，并利用 滤波信号的自相关函数来进行基音估计；至此，还有一个问题需要解决， 由于无论采用哪一种算法求得的基音周期轨迹与真实的基音周期轨迹不 可能完全吻合，实际情况是大部分段落是吻合的，而在一些局部段落或 区域的一个或几个基音周期估值偏离了正常的轨迹，这种情况称为出现 了若干野点；为去除这些野点需采用各种平滑算法，在此采用中值平滑 技术，即在被平滑点左右各取L个样点，连同被平滑点共同构成一组信 号采样值，共2L+1个样值，然后将这2L+1个样值按大小次序排成 一队，取此队列中间者作为平滑器的输出；L值一般取为1或2，即中 值平滑的窗口一般套住3到5个样值；中值平滑的优点是即可去除少量 野点，又不会破坏基音周期轨迹中两个平滑段之间的阶跃性变化；由此， 得到了全部汉语标准普通话示教语句的音素特征矢量内核空间域模板 库、示教语句音素标号串模板库及其声调韵律特征模板库；这三个模板 库合在一起，即构成标准汉语普通话教师示教语句特征模板库； c．汉语语音学习评价和建议子系统及其实现方法：根据准备好的计算 机辅助多媒体教学节目内容，按节目所给的学习进度要求，通过计算机 选定所要学习的汉语语句，热击发声图标，发出该语句教师标准普通话 声音；之后，开始学习发音；这里，设定学习语音所用的采样率为8khz， 量化率为8位，单声道，将学习语音流信号存入相应的数据文件；按a．所 述过程提取其特征参数；根据设定的的采样频率、量化率等参数，每帧 样点数据应为128个，帧移样点为64个，窗长约16ms；对帧内数据进 行FFT变换；之后，求取各帧的特征参数矢量；由每帧的特征参数矢量， 按清浊音判定规则将其划归为清音/浊音音素特征参数矢量；继续上述过 程，直到清浊音分界帧出现，将对应于一个清音音素或一个浊音音素的 所有帧特征参数矢量进行加权平均，得到相应于该音素的特征参数矢 量；采用Kohonen神经网络和有监督学习算法，首先，与由a．建立起来 的具有标准普通话特征内核的汉语语音音素特征模板库进行比较，得到 该音素在内核域或混合域模板库中的一选、二选和三选标号对，即针对 每一选的音素标号，有一个可变的结果状态标号，0表示结果状态属内 核域，1表示结果状态属混合域；至此，完成了学习者语音音素识别任 务；重复上述过程，得到所学语句的一选、二选和三选音素特征标号串； 再计算其相应的基音频率轨迹；通过与教师示教语句特征模板库中的语 句标号串模板库以及声调韵律特征模板库进行模式匹配比较，可以得到 匹配程度的量化评价结果，一是判断音素是否匹配；二是判断它是否属 于内核域；三是判断声调是否正确，即实现了评价学习者学习汉语的大 致情况，包括是否有多音、少音、错音、和声调是否正确，以及评价学 习标准普通话的情况，即与标准普通话的接近程度，是发音准确，大体 发音正确，还是不正确，最后由计算机自动输出学习情况的量化评价结 果及其有针对性地改进建议； d．汉语书写信号模板库及其实现方法：将教学用楷书体汉字按边长 为3厘米带有米字形衬底的正方形方框的图形模式保存起来作为模板； 各边长均为3厘米的带有米字形衬底的方格边框的灰度用-1表示，屏 幕分辨率为640×480，字体灰度为0或1来分别表示白或黑；按此设 置建立起来的楷书体汉字模板库可作为本教学系统中的教师书写示范用 模板库；为了使该教学系统具有书写过程，如笔划、笔顺的示教能力， 需预先将整个书写过程录制下来，经过数字化处理后，按要求分别存储 起来，建立一个动态书写模板库；然后，根据教学要求，再以每秒24帧 图形的速度动态播放出来； e．汉语书写评价与建议子系统及其实现方法：在教学节目中给定的3 厘米边长的米字形正方框里，学生根据书写教师的示范字及示教书写过 程，在计算机屏幕上使用鼠标进行书写练习；通过与动态书写示教模板 库进行动态模式比较，可以知道学生的书写过程和书写结果是否都正 确，然后自动给出量化的书写评价结果及其有针对性的改进建议； f．计算机多媒体汉语标准普通话教学节目，包括如下几个方面的功能 和特征： (a)．按课文顺序进行汉语拼音教学及汉语字/词/语句/课文等的教 ？？？？？学； (b)．每个教学单元包括听、说、读、写四个部分内容；并在学习 ？？？？？者学“说”和学“写”结束后，自动实时地对学习结果进行 ？？？？？评价，然后有针对性地自动给出改进学习的建议； (c)．在“听”教师讲课的过程中，可以在屏幕上同时看到教师的 ？？？？？口型动作； (d)．在书写示教过程中，可以在屏幕上看到教师的书写过程和书 ？？？？？写结果； (e)．为配合教学，安排了几种汉语学习游戏供学习者选用； (f)．部分课文内容配合动画进行演示说明； 学习者通过计算机跟着其教学节目进行学习，通过麦克风或鼠标可将学 习语音或汉字书写的结果输入计算机中；如果是语音学习信号，则通过 语音信号处理及其识别子系统进入语音评价与建议子系统，经过与具有 标准普通话特征内核的语音音素模板库以及教师语句特征模板库进行匹 配比较，得到学习者语音学习效果的评价结果，即是标准的汉语普通话、 还是带有口音的汉语普通话、或是有错音、缺音、多音等语音学习上的 错误，并针对学习者在语音学习中存在的不同问题，自动给出改进建议； 如果是书写学习信号，则经过书写信号模式识别子系统处理后进入书写 过程和书写结果评价与建议子系统，经过与书写模板库的模式匹配比 较，得到学习者书写过程和书写结果的评价结果，并针对学习者在书写 学习过程中存在的不同问题，自动给出改进建议；至此，完成了计算机 辅助汉语标准普通话的智能教学任务。 【当前权利人】郭巧; 郭扬 【当前专利权人地址】北京市81号信箱12分箱; 【引证次数】4.0 【被引证次数】8.0 【他引次数】4.0 【被他引次数】8.0 【家族引证次数】4.0 【家族被引证次数】8.0

未经允许不得转载：http://www.zhongzhencnc.com/1779907065.html