CSW中文分词组件.docVIP

CSW中文分词组件  ? 软件介绍一、中文智能分词简介中文自动分词技术是对现代汉语序列文本语句，将其自动拆分为以词组为单位文本的技术。二、应用范围中文智能分词技术作为中文信息处理的核心和汉语自然语言理解的基础，其有着广泛的应用范围. 诸如：数据挖掘、文档分类、自然语言理解以及凡是涉及到信息/数据检索的各个领域。三、应用范例在当前中文信息检索过程中，由于汉语语言的特殊性，所检索出的结果往往差强人意。对有哪些信誉好的足球投注网站条件自动进行中文分词处理，是目前提高检索结果准确性的一种有效途径。例如1：有哪些信誉好的足球投注网站关键字：上海燃料化学公司使用中文分词组件后可拆分为：上海 燃料 化学 公司如数据库中存在的是” 上海市燃料化学总公司”，按通常的检索方法是很难检索出来的，采用中文分词技术拆分后，可对被有哪些信誉好的足球投注网站关键字进行分开匹配(Filed like ‘%上海%’ and/or Field like ‘%然料%’ and/or Field like ‘%化学%’ and/or Field like ‘%公司%’ )。从而有效避免因被检索内容中无的”上海然料化学公司”字符而导致不能正确检索出结果的现象。例如2：有哪些信誉好的足球投注网站关键字：网络蚂蚁中文版使用中文分词组件后可拆分为：网络 蚂蚁 中文版在进行检索时将被检索的内容与有哪些信誉好的足球投注网站关键字分开进行匹配( Field like like ‘%网络%’ and Field like ‘%蚂蚁%’ and Field like ‘%中文版%’)，从而有效避免因被检索内容中无相连的”网络蚂蚁中文版”字符而导致不能正确检索出结果的现象。四、本组件特点：1．适应性强基于.NET平台开发，采用DLL动态链接库，提供编程接口，可适用于网站或应用软件的数据检索2. 响应速度快在对有哪些信誉好的足球投注网站关键字进行智能分词时，其响应时间都在毫秒级以内。不会影响整体检索速度。3. 词组拆分识别率高。 经实际使用过程中检测，在对数十GB的文档资料进行折分时，所其识别率均大于90%。4. 采用倒序分词技术。在拆分过程中，采用倒序分词技术，可有效对汉语词汇进行歧义自动识别5. 特殊字符过滤可过滤掉在检索中不必要或影响检索结果有效性的不必要字符。如: ~符号，^符号等，亦可自定义过滤字符。6. 无意义字及敏感词过滤功能。集成自定义无意义字及敏感词过滤功能，可过滤掉诸如:啊、唉、个等无意义的以及煸动、反动、黄色和侵害他人的汉字、词组及英文。7．词库覆盖面广 内置10万条汉语词库，含盖了IT、化工、金融、贸易、纺织、电子、制造等各行各业以及日常生活用语中的常用汉语词组。8. 具有英文单词识别功能。本组件同时具有英文分词识别功能。9．词性标注功能。(限企业版)本功能可对拆分出的汉语词组的词性进行标注，使其可协助开发人员对有哪些信誉好的足球投注网站关键词具有一定理解能力，分析用户有哪些信誉好的足球投注网站关键字中的意图，以提高有哪些信誉好的足球投注网站结果的精度。整个分词标注以北京大学词性标准为标准。(详细可参见词性标注表)10．词频标识功能 (限企业版)词频标识功能可对拆分出的汉语词组在现实检索中出现的频率进行标识。为开发人员在对有哪些信誉好的足球投注网站关键词的理解分析上提供有效的参考，以提高检索精度。整个词频标识是以各大报刊媒体文章为基础，经过精心的统计分析制作而成，具有相当的参考价值。五、代码演示1. ASP代码Set SearchString = Server.CreateObject(Splitword.Split)response.write SearchString.SplitWord(searchChar, SerialNumber)SearchChar 为要进行分词的字符串SerialNumber 为注册号,试用版注册号为evaluate2. VB中调用代码首先引用SplitWord.dll对象.Dim SearchString As New SplitWord.SplitMsgBox SearchString.SplitWord(searchChar, SerialNumber)SearchChar 为要进行分词的字符串SerialNumber 为注册号,试用版注册号为evaluate ?