关于在有哪些信誉好的足球投注网站引擎分词查找中的分词问题和词性处理问题.docVIP

在有哪些信誉好的足球投注网站引擎的开发过程中，很多人会想到也一定会遇到诸 如这样的问题：输入cars，能查处cars，car等，也就是相关 的单词，不管是时态还是什么，相关的都能查询到的问题。我 刚开始的时候也不知道怎么处理，用了一些笨方法，但不能完 全的解决问题，但后来也经过看资料，以及同事的提示，成功 的解决了问题，下面我把个人心得与大家分享，希望大家能给 出宝贵的意见，一起讨论。 处理此问题呢，可以有下面三种方法，也有些网上也很多 人讨论，我将给出，且给出自己的观点。 第一种方法：Stemming（当然也有人提到说lemmatization 方法，由于这是在linux下用C++开发，我没用过，不知道，所 以不妄下断言）方法： Stemming方法呢，是通过规则缩减为词根的 来实现的，当然，具体的问题，去看一下也就知道，其实是有 问题的，比如used，通过这种方法得到的是us，当然，这也不 是说是错误的，这也是正确的，只是不符合我们所要达到的要 求。如果想尝试的，可以去看一下这个先生（小姐）的博客， 因为我没用这种方法，所以也就不贴出自己的代码。具体参考 转载自： /category/95698? show_full=true 详细介绍如下： (1) 有关stemming 作为stemming，一个著名的算法是The Porter Stemming Algorithm，其主页为 /~martin/PorterStemmer/，也可查看其 论文/~martin/PorterStemmer/def.txt 。 通过以下网页可以进行简单的测试：Porters Stemming Algorithm Online [/mobasher/classes/csc575/p orter.html] cars – car driving – drive tokenization – token 然而 drove – drove 可见stemming是通过规则缩减为词根的，而不能识别词型的变 化。 在必威体育精装版的Lucene 3.0中，已经有了PorterStemFilter这个类来 实现上述算法，只可惜没有Analyzer向匹配，不过不要紧，我 们可以简单实现： public class PorterStemAnalyzer extends Analyzer { @Override public TokenStream tokenStream(String fieldName, Reader reader) { return new PorterStemFilter(new LowerCaseTokenizer(reader)); } } 把此分词器用在你的程序中，就能够识别单复数和规则的词型 变化了。 public void createIndex() throws IOException { Directory d = new SimpleFSDirectory(new File (d:/falconTest/lucene3/norms)); IndexWriter writer = new IndexWriter(d, new PorterStemAnalyzer(), true, IndexWriter.MaxFieldLength.UNLIMITED); Field field = new Field(desc, , Field.Store.YES, Field.Index.ANALYZED); Document doc = new Document(); field.setValue(Hello students was driving cars professionally); doc.add(field); writer.addDocument(doc); writer.optimize(); writer.close(); } public void search() throws IOException { Directory d = new SimpleFSDirectory(new File (d:/falconTest/lucene3/norms)); IndexReader reader = IndexReader.open(d); IndexSearcher searcher = new IndexSearcher(reader); TopDocs docs = searcher.search(new TermQuery(new Term(desc