第八章 中文有哪些信誉好的足球投注网站引擎技术.pdfVIP

第八章 中文有哪些信誉好的足球投注网站引擎技术 第八章 中文有哪些信誉好的足球投注网站引擎技术 第一节 中文分词技术 第一节 中文分词技术 分词技术简述 分词技术简述 百度分词技术 百度分词技术 分词中的难题与发展 分词中的难题与发展 第二节 拼写检查错误提示 第二节 拼写检查错误提示 第三节相关提示功能分析 第三节相关提示功能分析 第四节 CACHE结构 第四节 CACHE结构 CACHE的实现原理 CACHE的实现原理 三级CACHE的设计 三级CACHE的设计 Info.Retrieval Info.Retrieval Info.Retrieval 一.什么是中文分词 一.什么是中文分词 把中文的汉字序列切分成有意义的词。 把中文的汉字序列切分成有意义的词。 例：我/是/一个/学生 例：我/是/一个/学生 二.分词技术简述 二.分词技术简述 1.基于字符串匹配的分词方法 1.基于字符串匹配的分词方法 按照一定的策略将待分析的汉字串与一个机器词库中的词条 按照一定的策略将待分析的汉字串与一个机器词库中的词条 进行匹配。 进行匹配。 常用分词方法： 常用分词方法： 正向最大匹配法 （由左到右的方向） 正向最大匹配法 （由左到右的方向） 例：我 /有意/ 见/ 分歧 例：我 /有意/ 见/ 分歧 反向最大匹配法 反向最大匹配法 例：我 /有/意见/分歧 例：我 /有/意见/分歧 统计结果表明:单纯使用正向最大匹配的错误率为1/169，单纯使用反向 统计结果表明:单纯使用正向最大匹配的错误率为1/169，单纯使用反向 最大匹配的错误率为1/245。逆向匹配的切分精度略高于正向匹配。 最大匹配的错误率为1/245。逆向匹配的切分精度略高于正向匹配。 Info.Retrieval Info.Retrieval Info.Retrieval 2.基于统计的分词方法 2.基于统计的分词方法 相邻的字同时出现的次数越多，就越有可能构成一个词。 相邻的字同时出现的次数越多，就越有可能构成一个词。 用于系统自动识别新词。 用于系统自动识别新词。 3.基于理解的分词方法 3.基于理解的分词方法 在分词的同时进行句法、语义分析，利用句法信息和语义 在分词的同时进行句法、语义分析，利用句法信息和语义 信息来处理歧义现象。 信息来处理歧义现象。 Info.Retrieval Info.Retrieval Info.Retrieval 三.百度分词技术分析 三.百度分词技术分析 1.最大分词词 1.最大分词词 长： 长： 小于等于3个中文字不切割 小于等于3个中文字不切割 对于大于等于4个汉字的词将被分词。 对于大于等于4个汉字的词将被分词。 Info.Retrieval Info.Retrieval