改进的GRBM在语音识别中的应用研究-电子科学与技术、微电子学与固体电子学专业论文.docxVIP

暨南大学硕士学位论文 暨南大学硕士学位论文 万方数据 万方数据 摘要 语音识别技术是当今人工智能研究的重点方向之一，各种语音识别算法和相 关模型不断涌现，如隐马尔科夫模型（HMM）、动态时间规整（DTW）等。随着 科技的发展，语音识别系统被广泛的应用在实际生活的各个领域中，例如移动终 端、智能家居和安保系统等等。 深度学习神经网络是近年来机器学习的热点，将深度学习模型以及基于该模 型的各种改进算法应用在语音识别系统上是当今研究的重点方向之一，本文的主 要内容是基于改进的高斯受限玻尔兹曼机在语音识别中的应用研究。论文在分析 了受限玻尔兹曼机和高斯受限玻尔兹曼机（GRBM）的理论算法、模型训练方法 以及模型的优势特点的基础上，从两个方面对 GRBM 做出改进：首先，改进 GRBM 模型的采样算法。结合并行回火（PT）的采样算法和实现原理，将并行回火的采 样方法应用在 GRBM 训练模型中，提出基于并行回火改进的 GRBM 模型。其次， 改进 GRBM 训练模型参数的算法。通过指数平均数指标（EMA）来改进传统的对 比散度（CD）的训练算法，该算法将已经训练好的权值与当前模型训练的权值 相结合，即 GRBM 模型参数的更新需要考虑当前获得模型参数以及过去所有的已 训练好的模型参数集。论文的后半部分着重阐述了改进的 GRBM 神经网络算法在 数字语音识别系统上的应用实现。系统实现平台分为 MATLAB 平台和嵌入式 ARM9 平台两个部分：在 MATLAB 平台上，通过将改进的 GRBM 算法模型结合支 持向量机（SVM）分类器进行仿真测试，根据准确率和收敛曲线分析实验结论； 在嵌入式 ARM9 平台，将改进的 GRBM 算法模型结合逻辑回归（LR）分类器移植 到嵌入式 ARM9 开发板进行测试。测试表明，语音识别系统采用改进的 GRBM 算 法模型具有较好的表现，语音识别准确率得到进一步提高。 关键词：语音识别，受限玻尔兹曼机（RBM），高斯受限玻尔兹曼机（GRBM）， 对比散度（CD），并行回火（PT），指数平均数指标（EMA），支持向量机（SVM）， 逻辑回归（LR） I Abstract Speech recognition is an important research direction of artificial intelligence and various speech recognition models have been developed, such as Hidden Markov Model (HMM), Dynamic Time Warping (DTW) etc.. Nowadays, speech recognition is widely applied in various fields of daily life, such as the mobile terminal, smart homes, security systems and many more. Deep learning neural network (DNN) is a hot topic of machine learning in recent years. The application of DNN and other improved algorithm in the speech recognition system is an important issue in the field. In the present paper, the Gaussian‐Bernoulli restricted Boltzmann machine (GRBM) is used to train and recognize the speech signal basing on a developed recognition method. The principle of training methods, theoretical models, and advantages of GRBM are reviewed. We proposed two schemes to improve the model of Gauss restricted Boltzmann machine. Firstly, by combining with the Parallel Tempering learning algorithm, an improved GRBM network based on Parallel Tempering （GRBM‐PT）is proposed to improve the sampling alg