基于Storm的实时消息处理系统.docVIP

  基于 Storm 的实时消息处理系统# 孔祥起，张海涛** （北京邮电大学计算机学院智能通信软件与多媒体北京市重点实验室，北京 100876） 5 10 15 20 摘要：随着互联网的飞速发展以及网络提供商带宽的不断升级，能够在互联网上进行网络活 动的人数日益增长，总人数增长带来的结果就是提高了各网站的用户数量，无论新闻，视频， 还是应用型网站的用户数量猛增，用户数量对网络后台的要求越来越高，有一套能够同时满 足实时性与高效性的后台消息处理系统来说迫在眉睫。本文针对当前网络系统对大数据处理 以及实时性处理的需求，结合流式计算框架 Storm 与消息队列系统 Kafka 提出一套解决方案， 用来解决大数据处理以及实时处理的需求问题。 关键词：分布式计算；实时性；Storm；Kafka 中图分类号：TP 302 The real-time information processing system based on Storm KONG Xiangqi, ZHANG Haitao (Beijing Key Laboratory of Intelligent Telecommunications Software and Multimedia, School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: With the rapid development of Internet and wider network bandwidth, the result of growth is the increment of the user number of the sites which includes news, videos, and other applications. The increment put forward to requirements on huge data processing and real time processing. A real time and efficient information processing system is imminent. This paper proposes a solution for meeting the requirements by combining Storm and Kafka. Key words: distributed computing; real time; Storm; Kafka 25 0 引言 随着互联网的高速发展，互联网应用所针对的用户数量持续攀升，随之而来的是跟随用 户而来的各种各样的数据，基于大规模的用户群，互联网公司所需处理的数据量同样规模巨 大，这就是所谓的大数据。企业针对大数据的处理主要基于两个方面的需求：提高数据处理  30 35 效率、挖掘用户需求[1]。 网络带宽不断升级，用户关注点已经由传统的功能需求转向性能需求，它们希望互联网 公司能够提供更高效，快速并且细心的服务，因此能够给用户快速高效的功能反馈成了互联 网公司服务用户的另一个重点。为了能够提供给用户更优质的服务并且借助数据分析来帮助 企业了解用户需求这两项对互联网应用后台数据的处理提出了要求，一方面能够快速响应用 户请求，另一方面能够对用户行为进行实时分析供公司运营实时调整不仅能提高用户的体验 更能给公司方面积累更多的用户带来更好的效益。 本文针对以上需求提出一种后台实时数据处理方案，意在解决大数据下的高效计算与实 时性问题，结合当前流行的缓存队列 Kafka[2]与流式计算框架 Storm[3]提出一种满足高效性与 实时性的后台数据处理方案。 40 基金项目：高等学校博士学科点专项科研基金（No.20130005120011） 作者简介：孔祥起（1988-），男，硕士研究生，主要研究方向：多媒体与网络信息处理 通信联系人：张海涛（1983-），男，讲师，主要研究方向：多媒体与网络信息处理. korn_0426@126.com -1- 1 系统设计要点 系统设计要点主要包含数据量，实时性，高效性三个方面。   1.1  数据量 数据量涉及持久化数据库与缓存系统。  45  1.1.1  持久化数据库 用户数据的持久化需要用到大容量的数据库，大容量数据库一方面能解决数据容量的过 载问题，另一方面能够解决负载均衡，并且能够防止特殊情况下的数据丢失问题。然而通常 支持持久化的分布式数据库的读写性能有限，这就提出了数据库在实时性方面的需求，对于 多用户同时访问网站的问题