IKAnalyzer中文分词器使用与扩展指南.pdfVIP

1.IK分析仪2012介绍

IKAnalyzer是一个基于开源java语言开发的轻量级的中文分词工具包。从2006年

12月推出1.0版开始，IKAnalyzer已经推出了4个项目大版本。最初，它以开源

Luence为应用主体的，结合有哪些信誉好的足球投注网站分词和文法分析算法的中文分词组件。从3.0版本开始，

IK发展为面向Java的分词组件，独立于Lucene项目，同时了对Lucene的默认优化

实现。在2012版本中，IK实现了简单的分词歧义修复算法，还有IK分词器从简单的分词

向模拟图像分词衍生化。

1.1IKAnalyzer2012结构设计

1.IKAnalyzer2012介绍

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006

年12月推出1.0版开始，IKAnalyzer已经推出了4个大版本。最初，它是以开源项目

Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开始，

IK发展为面向Java的公用分词组件，独立于Lucene项目，同时了对Lucene的默认

优化实现。在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯

的词典分词向模拟语义分词衍化。

1.1IKAnalyzer2012结构设计

1.2IK分析仪2012特性

⚫采用了特有的“正向迭代最细粒度切分算法”，支持细粒度和智能分词两种切分模式；

⚫在系统环境：Core2i73.4G双核，4G内存，window764位，SunJDK1。6_2964位

普通pc环境测试，IK2012具有160万字/秒(3000KB/S)的高速处理能力。

⚫2012版本的智能分词模式支持简单的分词排歧义处理和数量词输出合并。

⚫采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩

文、日文字符

⚫优化的有哪些信誉好的足球投注网站，更小的内存占用。支持用户有哪些信誉好的足球投注网站扩展定义。特别的，在2012版本，

有哪些信誉好的足球投注网站支持中文、英文、数字混合词汇。

1.3分词效果示例

IKAnalyzer2012版本支持细粒度切分和智能切分，以下是两种切分方式的演示样例。

文本翻译1:

IKAnalyzer是一个开源的、基于java语言开发的轻量级的中文分词工具包。从2006年12

月推出1.0版本开始，IKAnalyzer已经推出了3个大版本。

⚫智能分词结果：

ikanalyzer|是|一个|开源|的|基于|java|语言|开发|的|轻量级|的|中文|分

词|工具包|来自|2006年|12月||1.0版本|开始|ikanalyzer|已经|推|成长了|3

个|大|版本

⚫最细粒度分词结果:

ikanalyzer|是|一个|一|个|开源|的|基于|java|语言|开发|的|轻量级

1.2IKAnalyzer2012特性

⚫采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式；

⚫在系统环境：Core2i73.4G双核，4G内存，window764位，SunJDK1.6_2964

位普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。

⚫2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。

⚫采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、

日文字符

⚫优化的词典，更小的内存占用。支持用户词典扩展定义。特别的，在2012版本，

词典支持中文，英文，数字混合。

1.3分词效果示例

IKAnalyzer2012版本支持细粒度切分和智能切分，以下是两种切分方式的演示样例。

文本原文1:

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12

月推出1.0版开始，IKAnalyzer已经推出了3个大版本。

⚫智能分词结果:

ikanalyzer|是|一个|开源|的|基于|java|语言|开发|的|