参看图1.1.PDFVIP

第?? 华东理工大学硕士学位论文 算法在实现时的一个变通处理— 除汇。然后，我们用详实的实验数据对各种稀疏矩阵? 向量乘法运算的优化策略作了详细比较，并根据实验结果结合运算效率和存储量消耗选择 了适合实际系统的优化策略。最后，我们对网络信息检索技术的未来发展作了初步探讨。 ????有哪些信誉好的足球投注网站引擎的整体架构 搜素引擎的结构和工作流程如下 ?参看图 ????? 图??? 有哪些信誉好的足球投注网站引擎的塞本结构 ?、从一组自定义的种子页面开始，域名解析器 ?????????????将域名转化为绝对 ???地址即??地址，提交给有哪些信誉好的足球投注网站机器人 ?????????? ??我们在整体测试中发现，如果让域名解析器逐个解析域名，它将成为整个系统的 瓶颈。于是我们在本地设置了一个???服务器，并采用异步??和多线程的方法，尽 量让程序使用 ???的资源，减少对网络或硬盘的操作次数，从而提高了整个模块的 效率。 华东理工大学硕士学位论文 第?页 ?? 有哪些信誉好的足球投注网站机器人根据 ????协议从信息服务器获得????文本，并交给页面存储器 ?????????????? ??我们使用多个有哪些信誉好的足球投注网站机器人并行于多台机器，每个有哪些信誉好的足球投注网站机器人可以生成多个子线 程，而每个线程能同时读取数百个页面。每一个有哪些信誉好的足球投注网站机器人与域名解析器建立一个 ??????连接。多个有哪些信誉好的足球投注网站机器人的负载平衡，可以由??????的窗???流量进行控制。在 整个爬网页的过程中，任意增加或撤销一个有哪些信誉好的足球投注网站机器人对系统的运行没有丝毫影响。 ??页面存储器压缩并存储原始页面进存储桶 ???????????? ??页面存储器不仪仅是一个页面的存储问题，它直接关系到有哪些信誉好的足球投注网站引擎的更新模式。 批量式?增量式有哪些信誉好的足球投注网站机器人?即时更新式?备份式页面存储器的不同组合可以构成不同 的更新模式???另外，有哪些信誉好的足球投注网站引擎由此还可以提供网页快照的功能。 ?、素引器 ?????????从存储桶中读取页面，解压还原，对页面进行分析?同时，索 引器提取页面中的所有链接进入下一轮有哪些信誉好的足球投注网站。 ??索引器是整个系统的关键部分。我们采用分布式的方法以提高效率。索引器提取 出页面后，用已有的主中文词典和附加中文词典，采用中文分词技术，按词进行索引， 生成倒排词表，其中每一项纪录包括?词号 ?????????页面号 ???????、该词在页 面中的权值、该词在页面中出现的次数、位置及其他附加信息 ?如字体、大小、颜色 等?。索引器为每个页面提供一个 ???信息表，由摘要信息和待爬行的???链接表 组成。???信息表传递给域名服务器作进一步处理。索引器成批处理页面，待该批页 面处理完毕，每个页面的倒排表将被合并，按??????排序，生成临时倒排文件存入 磁盘。 ?、网页排序 ??????????接收由索引器提取出的网页链接关系生成网络链接图，根 据特定算法对每个网页的重要性进行计算。具体内容将在后文阐述。 ?、域名服务器 ???????????读取???信息表，将???文本元信息存入信息库。 ??该模块采用??????的????算法，为送将爬行的???链接地址计算唯一的??????? ??查询器 ???????根据用户输入的词条在系统中进行数据查询。 ??词条先被转换为对应的 ??????。接