Jcseg-开发帮助文档.pdf

Jcseg 开源中文分词器开发帮助文档 (注: 该文档只适用于 1.8.8 及其以后的版本) 一. 关于jcseg: jcseg 是使用Java 开发的一款开源的中文分词器, 使用mmseg 算法. 分词准确率高达 98.4%, 支持中文人名识别, 同义词匹配, 停止词过滤..., 详情请查看jcseg 官方首页. 官方首页: /p/jcseg/ 下载地址: /p/jcseg/downloads/list Jcseg 详细功能介绍: (可以略过, 方便查看新版本功能变化) 1。目前最高版本：jcseg-1.9.2 。兼容最高版本lucene-4.x 和最高版本solr-4.x 2。mmseg 四种过滤算法，分词准确率达到了98.41%。 3。支持自定义词库。在lexicon 文件夹下，可以随便添加/删除/更改词库和词库内容，并且对词库进行了 分类。参考下面了解如何给jcseg 添加词库/新词。 4。(!New) 支持词库多目录加载. 配置lexicon.path 中使用;隔开多个词库目录. 5。(!New)词库分为简体/繁体/简繁体混合词库: 可以专门适用于简体切分, 繁体切分, 简繁体混合切分, 并 且可以利用下面提到的同义词实现,简繁体的相互检索, jcseg 同时提供了词库两个简单的词库管理工具来进行 简繁体的转换和词库的合并. 6。中英文同义词追加/ 同义词匹配 + 中文词条拼音追加．词库整合了《现代汉语词典》和cc-cedict 辞典 中的词条，并且依据cc-cedict 词典为词条标上了拼音，依据《中华同义词词典》为词条标上了同义词(尚未完 成)。更改perties 配置文档可以在分词的时候加入拼音和同义词到分词结果中。jcseg 新版词库 7。中文数字和中文分数识别，例如：一百五十个人都来了，四十分之一的人。中的一百五十和四十 分之一。并且jcseg 会自动将其转换为阿拉伯数字加入到分词结果中。如：150， 1/40。 8。支持中英混合词和英中混合词的识别(维护词库可以识别任何一种组合)。例如：B 超, x 射线, 卡拉ok, 奇都ktv, 哆啦a 梦。 9。更好的英文支持，电子邮件，域名，小数，分数，百分数，字母和标点组合词（例如C++, c# ）的识 别。 10。自定义保留标点, 例如: 保留, 就可以识别kr 这种复杂切分结果, 加上下面一条的功能, 可以完美 的适合检索。 11。(!New)复杂英文切分结果的二次切分: 例如QQ2013 会被切分成: qq2013/ qq/ 2013, chenxin619315@ 会被切分成: chenxin619315@/ chenxin/ 619315/ gmail/ com。 12。支持阿拉伯数字/小数/ 中文数字基本单字单位的识别，例如2012 年，1.75 米，38.6℃，五折，并且 jcseg 会将其转换为“5 折加入分词结果中。” 13。智能圆角半角, 英文大小写转换。 14。特殊字母识别：例如：Ⅰ，Ⅱ 15。特殊数字识别：例如：①，⑩ 16。配对标点内容提取：例如：最好的Java 书《java 编程思想》，畅想杯黑客技术大赛，被《‘ ’ ,‘,“, 『标 点标记的内容。(1.6.8 版开始支持)。 17。智能中文人名识别。中文人名识别正确率达94%以上。（可以维护lex-lname.lex ，lex-dname- 1.lex，lex-dname-2.lex 来提高准确率），(引入规则和词性后会达到98%以上的识别正确率)。 18。自动中英文停止词过滤功能（需要在perties 中开启该选项，lex-stopwords.lex 为停止词词 库）。 19。词库更新自动加载功能, 开启一个守护线程随时检测词库的更新并且加载。 20。(!New) 自动词性标注。 21。perties 方便自主对分词进行配置, 打造适合你的应用的分词. 二. 安装jcseg: 先到jcseg 官方地址下载必威体育精装版版本的jcseg: jcseg-{version}-src-jar-dict.zip, {version}表示版本号, 下同. 解压jcseg-{version}-src-jar-dict.zip 到你要安装的目