FREE TALK 网络即时通讯工具产品发布.pptVIP

Programmer Docs SearchSystem Demo Conference Development Team: TopRank Today Focus Background Parser Focus Crawler Classification Recommendation Index Query Demo Problem Prospect Q A Background 互联网上存在着大量的以pdf,chm,doc为格式计算机方面的电子文档，而这些电子文档在google及baidu等大的综合性有哪些信誉好的足球投注网站引擎上一般只能提供下载，而不能很好的提供索引以及在线阅读。 各大论坛的精华区有保存着网友总结的并且是大家经常遇到的问题，这些都是一些非常有价值的文档，但往往在baidu,google等通用有哪些信誉好的足球投注网站引擎中被排在了靠后的位置。 Parser 电子书主要有两类 CHM格式，利用chmlib，效果很好 PDF格式，问题较多，效果也不是很好 Focus Crawler 1、分类器，用于判断所抓取的网页的相关性，进一步可确定该网页所包含的超链进行扩展。 2、提取器，用于找到已抓取的网页集合的HUB，并确定待抓取URL的优先级。 3、抓取器，在分类器和提取器指导下，基于具有动态可配置的优先控制策略下抓取网页。 Focus Crawler(续) 1、首先由用户从某一开放的分类目录体系中选择若干子类节点作为主题信息，这些节点包含的一些页面作为训练集，构造一个分类器。 2、人工选取一批主题相关的URL作为crawler的初始URL。 3、当抓取一个新的页面时，首先提交到分类器进行相关度预测，如果页面与主题信息的相关度超过某个阈值，则将该页面所指向的超链放入url池中作为待抓取的超链，否则该页面不进入库，并且它所指向的超级链接也不进一步抓取。 Classification 在这个版本的实现中，主要采取一种变化的KNN思路。 在KNN的想法中，将文档看作向量，进而表示成空间中的一个点，通过求点和各中心节点的距离，将文档划分到K个集合中，然后通过不断的迭代直到分类结果满足一定的收敛条件。同时分类结果和种子节点的选择是有一定关系的。 而具体考虑到我们系统分类的特殊性，同时的分类标准非常明确，所以我们的“种子”选择采用了固定的模式，比如可以设为：java、linux、websphere、database、c++、script、c#、other；然后通过两个步骤来界定该书和上面这些类的距离关系：1、如果在书名中匹配到和该类相关的关键字，则设该书到该类的距离为0，即属于该类；2、在第1步求不出结果的情况下，统计书的内容中某类各个关键字出现的总次数，并于书本长度归一化，将此值定义为该书到相应类的距离，并将它划到距离最近的类中。 Classification(续) 分类依据：一部书，本身我们基本可以通过书名中的关键词来识别它的类型，这应该是书名本身具有的属性，至少对绝大多数的书籍应该是这样的，否则这本身会影响读者的阅读和选择； 所有我们认为，这种方法可以很大概率的满足我们对书籍分类的要求。只要我们对一个类型的关键词选择足够全面。这里以database为例，选择的匹配关键词可以包括：db2、oracle、sql等。 为了防止遗漏的部分，我们通过统计书中各关键词出现的总次数，则同样把它归到相应的类中，这在一定程度上弥补“通过书名来界定距离”这种思路的不足。 Classification(续) 分类结果及可以改进的地方： 1、一部书可能划分到多类，但我觉得这种情况本身既是合理。相反，要把一部书严格的划分到一类本身可能很牵强。对于划到多个类的结果，在每个类中都会提供一个索引链接； 2、这个方法中，最关键的地方应该在于初始标准的设定，当然这个标准同时可以是不断扩充的，基于这点，我们也可以把这种分类看成一种基于规则的分类方法；而基于规则的方法的问题在于规则往往是无穷的，我们只能尽力让用到的规则足够全面。 Recommendation(相关阅读) 当你在浏览某本书的某章节是推荐一些其他书的类似章节 待实现 Index 粒度：书、页面 比较 建两个索引 docid,weight,frequency bookid,weight,frequency 问题: 切词：目前是简单的MM切词，效果很差 页面无Title 构造一个计算机专业切词词典(Dictionary) Query 目前是Bool查询 排序 排序粒度：页面、电子书 既要满足有哪些信誉好的足球投注网站书的需求，又要满足有哪些信誉好的足球投注网站书的内容的需求 对电子书长度归一化 从China-Pub , Amazon上取得书的星级(*) 从无标题的网页中“提出” Title(*) Demo Please visit 1 Pr