分布式Robot系统结构设计.pdfVIP

维普资讯 2005年第 l2期 福 建 电 脑 77 分布式 Robot系统结构设计 姜 杰 (南京师范大学教育技术系江苏 南京 210){97) 【摘 要】 本文分析了集中式Robot系统结构和应用中的不足，在此基础上设计了一种分布式的Robot系统结 构，对分布式系统的结构模块进行了设计分析：设计了一种适合动态优化组合的基于 “注册”部署运行模式。 【关键字】Robot分布式结构 注册运行模式； 网络机器人 Robot(或称 Webspider等)是一种能够跟踪网 (2)集巾式 Robot频繁的访问某一资源服务器。这种来 自同 一 络上超链接结构，并不断进行网络资源发现与采集的软件系统。 节点的高频繁访问，往往被资源服务器判别为恶性攻击 拒 作为有哪些信誉好的足球投注网站引擎的资源采集部分，Robot的性能将直接影响到整个 绝访 问。 有哪些信誉好的足球投注网站引擎索引网页的数量、质量和更新周期。本文在分析Robot (3)处于特定地域位置的集巾式 Robot只能以较慢的速度 基本结构和集巾式Robot运行特点的基础上．设计实现了一种 访问其他地域的资源．甚至会被一些出于安企考虑的局域网拒 分布式Robot系统结构。 绝。同样，处于特定属性网络(如公用网)Robot对于专用网(如 ： 1 Robot系统分析 教育科研网CERNET)的访问也大受限制。 1．1Robot基本功能模块 2 分布式 Robot结构设计 从系统结构上看 Robot最少包含两个基本功能模块 ：网络 分布式 Robot的系统设计是以集巾式 Robot为基础，将资源 资源采集模块和 URL管理模块。采集模块通过H P等网络协 采集部分设计成可 自flI部署的软件系统．解决上述集中式Robot 议清求并下载 URL列表对应的网络资源 。并从资源中发现新的 的不足。分布式Robot系统设计包括系统结构设计和系统部署 URL。URL管理模块根据有哪些信誉好的足球投注网站策略向资源采集模块提供待下载 运行设计。 资源的uRL列表。同时管理采集模块发现的新URL。完整Robot 2．1分布式Robot的系统结构模型 系统还包括下载资源数据库、URL数据库、有哪些信誉好的足球投注网站策略控制等附加 分柿式 Robot结构上包括如下几个部分：能 自由部署运行 功能模块 。 的分布式资源采集模块 ：能对多个采集模块实施管理 、控制的分 1．2Robot系统的数据流分析 布式控制模块：能根据采集模块、控制模块的分布特点和工作负 Robot系统运行时主要传输下列两类数据流：一类是网络资 荷对整个系统实施优化组合 、监控管理的管理巾心模块；配合系 源数据流 ．数据从网络资源服务器—一资源采集模块—一下载 统运行的URL巾心数据库、分布式的资源下载数据库等。其巾 资源数据库。该数据流以义本内容为主。包含图片、音频、视频等 一 个控制模