上海论文网提供MBA论文选题服务,专业提供硕士毕业论文服务。
导航 当前位置:上海论文网 > 工程论文 > 正文
基于语音技术之学前儿童言语自动评估系统探讨
  • 论文价格:150
  • 用途:硕士毕业论文 Master Thesis
  • 编辑:若诗
  • 点击次数:
  • 论文字数:0
  • 论文编号:el2021010515381321314
  • 日期:2021-01-08
  • 来源:上海论文网
本文是工程论文,本文在查阅大量文献基础上,分析已有研究的优缺点,并基于言语系统理论和学前儿童发音特点,提出了基于语音技术的学前儿童言语功能自动评估系统。目前言语功能评估仍以主观评估为主,很大程度上依赖于言语治疗师的经验。且目前已有的言语自动评估系统主要是针对成人的第二语言学习,鲜有针对学前儿童言语功能评估的研究。故在本论文中,还针对中文儿童语音特点,分析了Pitch特征、语速扰动、音量扰动对于学前儿童语音识别系统的影响,并进一步分析其对构音功能评估系统的影响。最后,还统计分析了构音障碍儿童和正常儿童在韵母持续时长上的区别,并基于声强检测算法和基频检测算法,对正常儿童和构音障碍儿童的语音按年龄和性别做统计。本文的主要研究及取得的成果如下:1.实现了一个针对学前儿童的言语功能自动评估系统,可对儿童的构音功能和发声功能进行可靠、便捷、低成本的综合评估。
.....

 

第1章引言

 

言语障碍阻碍了患者与他人的正常交流,严重影响了患者的正常生活,但目前国内对于该类型疾病的评估诊断仍以主观评估为主,本课题的目标是研究基于语音技术的学前儿童言语功能自动评估系统,以实现对学前儿童的言语功能进行更加便捷、准确、稳定的客观分析与评估,及时的发现言语障碍症状,为后续的治疗提供指导。在本论文研究中,我们以国内外已成熟的语音技术和国内针对言语障碍患者客观和主观评估分析为基础,合理结合两者,研究设计出对学前儿童言语功能做自动评估的方案。为了实现本课题的研究目标,本论文围绕以下几个方面的内容进行研究:1.学前儿童语音识别系统实现。儿童与成人语音具有较大差异,通用识别系统难以对儿童语音做准确识别,应基于学前儿童语音数据构建专门的ASR系统。同时,应考虑中文儿童发音特点,在训练模型时做相应的改进和数据增强。

.....

 

第2章系统相关理论介绍

 

2.1言语功能评估理论
从言语系统的构成出发,系统评估儿童的构音功能和发声功能,全面实时地反映儿童的言语功能状况。系统测试与性能分析。在完成整个系统的框架设计和实现后,本课题还需对系统的可行性和有效性进行验证,并分析影响系统性能的因素。本课题主要研究的是基于语音技术对学前儿童的言语功能做综合性评估。本课题的研究重点是学前儿童语音识别系统以及言语功能自动评估系统。在言语系统中,把发音时主要用力的部位称为发音部位,包括舌尖前、舌尖中、舌尖后、舌面、舌根、唇齿和双唇共7个部位。为了全面评估学前儿童的构音语音功能,并考虑到学前儿童的认知能力,在本系统中科学地选择评估语料,使得语料音节覆盖汉语拼音的所有声韵母,以综合评估所有的发音部位,反映被试儿童的各个音位习得能力以及构音清晰程度。

 

2.2语音识别技术理论
本章主要介绍了言语障碍以及语音识别的理论知识。首先从言语系统的构成来介绍了发声过程,并分别介绍了言语障碍中的构音障碍和嗓音障碍,其中详细讨论了三种构音障碍中的功能性构音障碍的特点,分析了该障碍的主要构音错误类型。其次,介绍了语音识别系统框架。并介绍了ASR系统中最主要的两大模型——语言模型和声学模型。接着,对两个评估子系统进行评估和性能分析,其中,重点分析和讨论了构音功能评估系统,通过与人工评分结果做相关性分析,发现了语速扰动训练可提高构音清晰度自动评估系统的性能,而音量扰动则使得自动评估系统的相关性系数下降。为分析声母和韵母与构音清晰度评估的相关性,我们分别计算在单独考虑声母、韵母、单韵母和复韵母情况下的构音清晰度评估相关系数与GOP阈值的关系,还对所有音素的发音错误率进行统计,并对比人工标注和自动评估的结果。同时,为了分析正常儿童与构音障碍儿童在语速上的区别,对儿童语音的韵母持续时长进行统计分析。最后,还对SIAT-TD和SIAT-FAD儿童语音的声强级和基频按年龄和性别做统计分析和独立样本t检验。
工程论文范文

 

第3章学前儿童语音识别系统实现..........................13
3.1数据库...........................................................13
3.2声学模型训练....................................................14
3.3语言模型训练....................................................25
3.4解码.............................................................27
3.5实验分析与系统评估.............................................28
3.6本章小结........................................................31
第4章学前儿童言语功能自动评估系统实现.................33
4.1构音功能评估....................................................33
4.2发声功能评估....................................................37
4.3实验分析和系统评估.............................................39
第5章工作总结与展望.....................................51

......

 

第4章学前儿童言语功能自动评估系统实现

 

4.1构音功能评估
言语的产生是通过三大系统的协调运动实现的,它们分别是呼吸系统、发声系统和构音系统。在发音学上,构音系统是由鼻腔、咽腔及其附属器官组成,构音障碍是导致言语清晰度下降的主要原因。在本系统中,主要使用构音清晰度指标来评估构音障碍的严重程度,构音清晰度即听众可以准确地获得说话者语音信号表达信息的程度。构音功能评估的主要目的在于检查患者在韵母、声母以及声调等构音音位上的习得情况。通常,构音功能评估需要一份评估语料,编制原则是将声母、韵母和声调等音位进行组合。2.言语功能自动评估系统实现。依据本课题的研究内容,本论文共分为五个章节,各章节的分布内容如下:1.第一章引言。本章介绍了本课题所研究的儿童言语功能自动评估系统的背景与意义,然后,对语音识别以及言语功能自动评估的研究现状进行分析总结,整理出本课题的研究内容和结构分布。
工程论文怎么写

 

4.2发声功能评估
发声障碍通常指的是在音调、响度和音质等方面的异常。声带的质量、长度、张力和声门下压等因素变化会导致音调异。同样,呼吸气流量、声带形态、声带阻力和声门下压等因素共同作用会导致响度异常。音质异常一般是由声带的器质性病变或功能性异常引起。本系统中主要考察对响度和音调的客观评估。根据图4.4,我们设置GOP阈值为-6.0,可得到不同模型下每个儿童的构音清晰度自动评分,并统计如下表4.6所示,其中r代表样本皮尔逊相关系数,m代表所有儿童自动评分的均值,代表自动评分的标准差。可以看到,在同一阈值条件下语速扰动后的模型获得最高的评估相关系数,而音量扰动后的模型的评估相关系数相较于基线模型显著下降。本章主要对言语功能自动评估系统的原理与实现做详细的介绍,主要包括构音功能评估和发声功能评估,其中,构音功能评估系统可针对被评估者上次评估的统计结果,自适应调整本次评估语料内容,使得评估更具有针对性。

.......

 

第5章工作总结与展望
实现了构音功能评估语料内容的自适应调整,使得评估更具有针对性。3.基于中文儿童语音的特点,分析了Pitch特征、语速扰动、音量扰动对于学前儿童语音识别系统以及学前儿童构音功能自动评估系统性能的影响。4.基于语音识别对儿童语音做强制对齐,统计分析儿童发音的韵母持续时长在正常儿童和构音障碍儿童上的差异。同时,还统计分析了不同年龄和性别的正常儿童与构音障碍儿童在音素持续时长、声强和基频分布上的特点。随着时代的发展和生活水平的提高,人们对于儿童言语功能的健康发育越来越重视,对于儿童言语功能评估系统的需求也越来越高,这给我们的系统提出了更多更高的要求。本文的工作在设计实现过程中还有一些未能顾及之处,在未来的工作中还需要更深入的研究:1.应该在深入研究中文儿童语音特点基础上更进一步分析语速扰动和音量扰动因素对于学前儿童语音识别系统以及言语功能评估系统影响的本质,以达到更好的系统性能。2.深入分析基于GOP的儿童构音清晰度自动评估系统在一些音素上与人工标注的音素错误率差距较大的原因,进一步提升儿童构音清晰度自动评估系统性能。3.一个实用的系统除了实现主体的评估内容,还应包括人机交互、评估建议和结果展示等方面的设计,故未来应在此基础上再完善系统设计。
参考文献(略)