可扩展Web信息搜集系统的设计、实现与应用初探-北京大学.ppt

可扩展Web信息搜集系统的设计、实现与应用初探;提纲;工作的背景和意义;有哪些信誉好的足球投注网站引擎工作流程;应用到下列方面： 有哪些信誉好的足球投注网站引擎 网页存档 其它方面 确认网页的有效性，站点结构分析，更新通知，镜像，个人Web助理 搜集方式 目标 尽快高效地获取网页;提纲;天网系统体系结构;集中式搜集系统;分布式搜集系统;模拟系统实验;负载平衡参照序列;模拟系统负载平衡;模拟系统可扩展性;实际系统实验;实际系统负载平衡;实际系统可扩展性;搜集策略;增量式搜集;检查全部网页 重新访问的网页数量不大 检查中与服务器建立连接 网页平均生命周期1.43年，同一时间存在的网页总体的半衰期大约0.99年 有选择性的检查网页;搜集部分相关研究;提纲;实现动态可配置的三种方法;两阶段映射模型;两阶段映射举例;提纲;术语介绍;天网搜集记录;基本统计数据;中国Web的形状;Web页面链接;网页有效入度/出度分布;网页入度分布;Web结构;Web社区 ;找出Web核心社区的方法;找出Web核心社区的方法(续1);找出Web核心社区的方法(续2);相关研究;回顾;谢 谢！