数据标注工程—语言知识与应用：语言知识的应用：面向自然语言处理PPT教学课件.pptx

下载文档

1
0
约1.52万字
约 79页
2025-08-20 发布于浙江
举报
版权申诉
保障服务

数据标注工程—语言知识与应用：语言知识的应用：面向自然语言处理PPT教学课件.pptx

1、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

语言知识的应用：面向自然语言处理数据标注工程——语言知识与应用第五章

+自然语言处理的基本问题01

自然语言处理的基本问题01语言模型问题（1）概念语言模型是根据真实语言的客观规律建立起来的抽象数学模型。语言模型可以反映若干词汇以某种顺序排列的概率。根据语言模型，我们可以计算一段文本的概率，通常混乱文本的语言模型概率较低，而合理文本的概率较高。早在20世纪40年代，俄国科学家马尔可夫就用统计方法发现俄语中元音和辅音出现的规律。进入20世纪90年代后，用统计方法得到的语言模型已经广泛应用于输入法、信息检索、语音识别、机器翻译等多个问题中，并起到了重要作用。2013年之后，随着word2vec方法