基于lucene4.6的SmartChineseAnalyzer中文切词源码.docVIP

基于SmartChineseAnalyzer的中文分词 Date:2014.1.1 在有哪些信誉好的足球投注网站引擎的构建中，分词器是索引器和有哪些信誉好的足球投注网站器中重要的一部分。分词器的好坏直接影响着有哪些信誉好的足球投注网站效果的优劣。 SmartChineseAnalyzer是lucene自带的中文分词器。Lucene是apache软件基金会jakarta项目组的一个子项目，是一个 HYPERLINK /view/1708.htm \t _blank 开放源代码的全文检索引擎工具包。Lucene4.6是当前的必威体育精装版版本。作为必威体育精装版版本的lucene，其自带的中文分词器效果也相当不错。 其分词测试代码如下： package com.lm.IndexTxt; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import .smart.SmartChineseAnalyzer; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import org.apache.lucene.util.Version; /** * 中文切词 * @author lm */ public class AnalyzerCN_LM { // 分析器类型 基本介绍 // WhitespaceAnalyzer 以空格作为切词标准，不对语汇单元进行其他规范化处理 // SimpleAnalyzer 以非字母符来分割文本信息，并将语汇单元统一为小写形式，并去掉数字类型的字符 // StopAnalyzer 该分析器会去除一些常有a,the,an等等，也可以自定义禁用词 // StandardAnalyzer Lucene内置的标准分析器，会将语汇单元转成小写形式，并去除停用词及标点符号 // CJKAnalyzer 能对中，日，韩语言进行分析的分词器，对中文支持效果一般。 // SmartChineseAnalyzer 对中文支持稍好，但扩展性差 /** * 中文切词 */ @SuppressWarnings(unchecked) public ListString analyzerCnStr(String str){ ListString result = new ArrayList(); Analyzer analyzer = new SmartChineseAnalyzer(Version.LUCENE_46,true);//指定当前版本为4.6 try { TokenStream tokenStream = analyzer.tokenStream(field, str); CharTermAttribute term=tokenStream.addAttribute(CharTermAttribute.class); tokenStream.reset(); while( tokenStream.incrementToken() ){ result.add( term.toString() ); } tokenStream.end(); tokenStream.close(); } catch (IOException e1) { e1.printStackTrace(); } return result; } //测试切词 public static void main(String[] args) { AnalyzerCN_LM analyzer = new AnalyzerCN_LM(); ListString l = analyzer.analyzerCnStr(对于Lucene4.3开发首先摆在我们面前的第一个必须要解决的问题，就是关于中文分词的问题，因为Lucene毕竟是国外的大牛们开发的，显然会比较侧重英文文章，不过还好，在Lucene的下载包里同步了SmartCN的分词器针对中文发行的，每一次Lucene有新的版本发行，这个包同时更新。); System.out.println(l); } } 分词效果如下： [对于, lu