关于n-gram和平滑技术讲义.pptVIP

第五章 n元文法(n-gram)统计模型 关毅 噪声信道模型 噪声信道模型 目标:通过有噪声的输出信号试图恢复输入信号 噪声信道模型的应用 噪声信道模型是一种普适性的模型，通过修改噪声信道的定义，可以将如下应用纳入到这一模型的框架之中 语音识别 一个声学信号对应于一个语句，一个语音识别器需找到其对应的可能性最大的语言文本 根据贝叶斯公式 信息源对应于以概率 生成语句文本，噪声信道对应于以概率分布 将语句文本转换成声音信号。语音识别的目的就是由通过噪声信道而输出的声音信号恢复其原始的语句文本。 噪声信道模型的应用 信源以概率 生成语句文本，信道为 ，语音/图像/翻译文本/字音转换模型 手写体汉字识别 文本－〉书写(或者打印、扫描)－〉图像 文本校错 文本－〉输入编辑－〉带有错误的文本 机器翻译 目标语言的文本－〉翻译－〉源语言文本 音字转换 文本－〉字音转换－〉汉字（拼音）编码 信源以概率 生成词性标注序列，信道 为词性标注序列转为词序列的转换模型 词性标注 词性标注序列－〉词性词串转换－〉词串 语言模型 P(T) :语言模型 如何计算P(T)? 根据链规则 问题: 参数空间过大,无法实用! “香农游戏(Shannon Game)” Claude E. Shannon. “Prediction and Entropy of Printed English”, Bell System Technical Journal 30:50-64. 1951. 给定前n-1个词(或者字母),预测下一个词(字母) 从训练语料库中确定不同词序列概率 基本思想: 考察一小段连续词汇序列（一个语句） 该语句出现的可能性有多大？ “马尔科夫假设” －下一个词的出现仅仅依赖于它前面的一 个词或者几个词． 假设下一个词的出现依赖于它前面的一个词 :bigram 假设下一下一个词的出现依赖于它前面的两个词 :trigram …… N-gram语言模型 最大相似度估计（ Maximum Likelihood Estimate ） “n-gram” = n个词构成的序列 unigram bigram trigram four-gram(quadgram 4-gram) …… 构造（训练）N-gram语言模型：在训练语料库中统计获得n-gram的频度信息 N的选择：可靠性 vs. 辨别力 “我 正在 ________ ” 讲课?图书馆?听课?学习?借书?…… “我 正在 图书馆 ________” 学习? 借书?…… 可靠性 vs. 辨别力 更大的 n: 对下一个词出现的约束性信息更多，更大的辨别力 更小的n: 在训练语料库中出现的次数更多，更可靠的统计结果，更高的可靠性 N的选择词表中词的个数 |V| = 20,000 词 问题 假设我们使用trigram模型 如果某个 那么P(S)=0 数据稀疏问题 必须保证 从而使 在训练语料库中: 最大相似度估计: 期望概率分布: 期望概率分布: “平滑（Smoothing）” 降低已出现的n-gram条件概率分布，以使未出现n-gram条件概率分布非0 又可称为“折扣方法” (Discounting methods) （确认）“Validation” –特指使用两个不同的训练语料库的平滑方法 拉普拉斯定律LaPlace’s Law(加一平滑法adding one) 拉普拉斯定律(adding one) 拉普拉斯定律 Lidstone 定律(Lidstone’s Law) Jeffreys-Perks Law Lidstone’s Law存在的问题 ?的确定. 对所有未出现的n-gram都给与相同的概率 与最大相似度估计成线性关系 Good-Turing估计 如果 C(w1,..,wn) = r 0, PGT(w1,..,wn) = r*/N 此处: r*=((r+1)S(r+1))/S(r) ?(r+1)N(r+1)/N(r)这里S(r) 是Nr的期望平滑估计. If C(w1,..,wn) = 0, PGT(w1,..,wn) ? N1/(N0N) 例： 建立频度-n-gram(本例为bigram)个数表(词表中词数14585，语料库中出现的各不相同的bigram总数1992