FreeSyllableDecoding之实作与应用-Read.pptVIP

Free Syllable Decoding在全文資訊檢索及語句辨識上之應用 指導教授：張智星 學生：張展嘉 大綱 簡介 音節辨識器之製作 FSD在應用上的困難與解決方法 應用一：唐詩詩句之辨識 應用二：全文資訊檢索 未來工作 其他應用 Demo 簡介 國語的特色 一個字就是一個syllable 若以不帶tone的syllable表示，共有411種 Free Syllable Decoding 使用411個Syllable為單位，自由(Free,也就是沒有文法)地把使用者所講的音(Syllable)解碼(Decode)出來 利用此音節辨識器，可以針對文字的發音，搭配一些特別的機制，來檢索文件以及其他之應用 音節辨識器之製作 HMM(Hidden Markov Model)的三個基本問題 observation sequence O=(o1,o2,…..,oT)，HMM λ=(S,A,B,?) 如何有效率地計算 P(O| λ) ? 如何選擇最佳的 state sequenceq = (q1,q2,……, qT) ? 如何調整 λ =(A,B,?) 使得 P(O| λ) 最大? 音節辨識器之製作 以411音節為基礎，由數個model組成一個音節，即一個大的HMM，例如： doG : sil+d d+o o+G G+sil 每個 model由數個state 組成，經由大量語料的訓練，產生各個model內state之間的Transition Probability 及其 State Probability Viterbi search(由一個音節來看) Viterbi search(把411個HMM並排) 何時該將一個音節解碼出來? 當一個frame進來，算完該column所有state的機率之後 基本原則 挑選機率最大的state，接著檢查該state是否為某syllable的最後一個state，若是，則將該syllable解碼出來 何時該將一個音節解碼出來? 輔助機制及參數 KEEP_NO_JUMP_FRAME_NUM 預防太早decode syllable出來 保留機率最大的前五名作為候選人 BESTJ_THRESHOLD 後四個候選人的機率值，必須某個程度上接近最大機率值，才予以保留 BOUNDARY_FRAME_KEPT 在decode出第一組syllable後，下一個frame進來時仍繼續decode 輔助機制及參數示意圖 調整參數 – Data driven 實驗：唐詩詩句辨認 固定兩個參數，改變第三個參數去跑實驗，求取音節辨識器最適當的參數值 測試資料：實驗室九位成員錄製之詩句，每個人大約300句 實驗之參數 實驗1:變數-KEEP_NO_JUMP_FRAME_NUM , BOUNDARY_FRAME_KEPT=1, BESTJ_THRESHOLD=0.0053 實驗2:變數-BOUNDARY_FRAME_KEPT, KEEP_NO_JUMP_FRAME_NUM=20, BESTJ_THRESHOLD=0.0053 實驗3:變數-BESTJ_THRESHOLD, BOUNDARY_FRAME_KEPT=0, KEEP_NO_JUMP_FRAME_NUM=20 實驗圖表1-1(KEEP_NO_JUMP_FRAME_NUM) 實驗圖表1-2(KEEP_NO_JUMP_FRAME_NUM) 實驗圖表2-1(BESTJ_THRESHOLD) 實驗圖表3-1(BOUNDARY_FRAME_KEPT) 實驗圖表3-2(BOUNDARY_FRAME_KEPT) FSD在應用上遇到的困難 單個syllable辨識率 辨識器的辨識率不高，因此要如何利用有限的音節辨識率，做最有效的應用，便成了一個重要的問題 一段語音之辨認 一段語音資料利用此辨識器作辨認之後，和正確答案相比，可能會多或少一兩個音節，也需要設計一些機制來克服 如何解決上述兩個問題? 辨識率不高的問題 製作「音節相似程度表」，增加音節辨識器的容錯性，製作的方法可以用data driven或rule based的方式 多出syllable或少了syllable的問題 視應用而定 唐詩詩句辨識：DTW 憲法本文條文檢索：文件交集 音節相似度的制定-rule based 首先，根據經驗或需要，訂定某些子音字母或鼻音之間的相似度，例如 計算兩個音節間的相似度 將兩個音節，也就是兩個字串，配合上表的規則，拿去計算LCS分數 LCS(Longest Common Subsequence) LCS X = {A, B, C, B, D, A, B} Y = {B, D, C ,A ,B, A} LCS = {B, C, B, A} has le