基于自律计算的分布式代理系统的设计与实现-计算机技术专业论文.docxVIP

万方数据 万方数据 Classified Index: TP393.01 U.D.C: 621.3 Dissertation for the Master Degree in Engineering DESIGN AND IMPLEMENTATION OF DISTRIBUTED PROXY SYSTEM BASED ON AUTONOMIC COMPUTING Candidate： Fan Guotao Supervisor： Associate Prof. He Hui Academic Degree Applied for： Master of Engineering Speciality： Computer Technology Affiliation： School of Computer Science and Technology Date of Defence： July, 2014 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 摘 要 现如今万维网已经渗透到了人类社会发展的许多方面，成为了不可或缺 的一部分。随着网络技术的发展，各种相应的网络服务也随之出现，然而大规 模的网络应用和网络服务使得网络中的流量剧增，导致了网络流量拥塞、网络 响应延迟等问题。HTTP请求产生的网络流量所占的比重持续增长，使得Web 服务器承担的访问负载越来越大，同时人们对于HTTP请求的响应速度期望也 越来越高。代理技术是减轻Web服务器访问负载、提高HTTP请求响应速度的 重要措施，而分布式代理技术可以解决单台代理服务器服务能力不足的问题， 提供更好的网络服务质量，同时采用了负载均衡技术和缓存技术，提高分布式 代理系统的整体性能。为提升缓存服务器的性能，本文提出了以二级域名为基 础的内容热度预测算法，为自动灵活的、细粒度的自动管理分布式代理系统， 本文建立了基于自律计算的分布式代理系统管理机制，其中运用了自律计算和 强化学习的思想。 首先，介绍了与本课题相关的理论与技术，了解了MAPE-K自律循环模型 的框架结构、组成部分以及相应的功能；了解了当前流行的一些缓存替换算法 的原理以及各算法之间的优缺点有了更加深入的理解；通过举例理解了Q学习 算法的原理以及简单应用。其次，讲述了基于自律计算的分布式代理系统的设 计，提出了分布式代理系统框架结构，包括负载均衡、代理以及缓存等三个模 块；提出了自律的分布式代理系统模型，从而将自律计算技术与分布式代理系 统结合在一起；提出了基于二级域名的缓存内容热度预测方法，不仅考虑了缓 存对象的命中次数，还考虑了缓存对象的整体特征，将热度较高的URL迁移出 去，从而降低了缓存服务器的负载。然后，介绍了基于自律计算的分布式代理 系统的实现，重点介绍了基于Q学习的自律决策模块，提出了基于BP神经网络 的Q学习模型和算法。最后，通过基于Q学习的自律决策框架模型和缓存内容 热度预测实验结果，表明了分布式代理系统的自律管理机制能够有效的、灵活 的实现系统管理，并提升了系统的整体性能。 关键词： 自律计算；分布式代理系统；Q 学习；缓存管理 I - Abstract Nowadays the World Wide Web has in-depth to many aspects of human and social development, and it has become an integral part. With the development of network technology, all kinds of network services have appeared, however, because of large-scale network applications and services ， a surge of network traffic has caused network congestion, network latency and so on. Whats more, the percentage of network traffic produced by HTTP requests is increasing steadily, and the load of Web servers is also growing, while people has much higher and higher expectation for the response speed of HTTP requests. And proxy t