Kad 网络节点资源探的测分析.docVIP

Kad网络节点资源探测分析* 刘祥涛1, 2，龚才春3，刘悦 1，白 硕1 1（中国科学院计算技术研究所 北京 100190） 2（中国科学院研究生院 北京 100190） 3（北京市计算中心 北京 100005） 摘 要 Kad网络中存在数以亿计的共享资源，而其中有相当一部分可被评定为敏感资源。首先用我们的Kad网络采集器：Rainbow对节点拥有的文件资源进行探测；然后对节点资源和敏感资源进行相关统计分析。我们发现：1)文件流行度和文件所对应的文件名数量都近似符合Zipf分布；2)利用同一个“文件内容哈希”(即file-content-hash)的多个文件名的共现词可以更准确地进行敏感判别；3)敏感资源占随机样本的6.34%，且敏感资源中74.8%为video文件。 关键词 对等网络；Kad网络；探测分析；敏感资源 Peer Resource Measurement and Analysis in Kad Network Liu Xiang-Tao1,2, Gong Cai-Chun3, Liu Yue1, Bai Shuo1 1(Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190) 2(Graduate University, Chinese Academy of Sciences, Beijing 100190) 3(Beijing Computing Center, Beijing 100005) Abstract In Kad network, there are hundreds of millions of shared resources, among which a considerable part can be rated as sensitive resources. Firstly, the file resources of peers are measured using our Kad-network crawler: Rainbow, then, those resources and sensitive resources are statistically analyzed. We find that: 1) both the popularity of files and the number of filenames corresponding to a file approximately fit Zipf distribution; 2) the sensitivity of files can be judged more accurately using co-occurrence-words in multiple filenames corresponding to the same file-content-hash; 3) sensitive resources only occupy 6.34% of random sample, and 74.8% of sensitive resources are video files. Keywords Peer-to-peer network; Kad network; measurement and analysis; sensitive resource 引言 eMule网络[1]是一种混合类型的文件共享对等网络，它由两部分：集中式网络和纯分布式网络组成。其中纯分布式网络采用了Kademlia协议[2]，是eMule网络的主要组成部分。一般来说，采用Kademlia协议的eMule网络称为Kad网络。Ipoque 2008~2009年度的因特网流量报告表明：依地理位置的不同，eMule占P2P流量的2%~47%，占因特网流量1%~26%[3]，且呈上涨趋势[4][5]。 Kad网络为不健康内容的传播提供了方便，在Kad网络中存在数百万的共享资源，其中有相当一部分不合适让特定人群观看，我们称这些资源为敏感资源。所以对Kad网络中的共享资源进行探测分析是相当必要的，这样不仅可以了解敏感资源的扩散程度，也可以为不健康内容的过滤做好铺垫工作。从而减少特定人群受不健康内容侵蚀的影响，有助于社会精神文明建设。 Kad网络的探测分析存在如下挑战： 虽然对等网络爬虫研究已经取得了较大进展[6][9][10][11]，但直到现在，也不存在一个可以探测“节点”即被指定了一定标识的物理机器的共享资源的爬虫； 节点资源名是多语言的，比如英语、中文、日语、韩语、法语、西班牙语等，给资源的敏感判别增加了难度； 节点资源名