云计算环境中的日志存储分析系统的设计与实现.docVIP

  云计算环境中的日志存储分析系统的设计 与实现 王超，徐鹏** 5 10 15 20 25 30 35 40 （北京邮电大学网络技术研究院，北京 100876） 摘要：随着云计算技术的发展，每天都有海量的数据在云中产生，如何处理云计算系统和云 中应用产生的海量日志数据的采集，存储，分析成为一个重要挑战。本文介绍了云计算环境 中日志数据处理遇到的问题，并提出了一个高可用的日志存储分析系统体系结构，对其中的 关键技术做了详细说明。该系统能够处理云计算系统和应用的日志数据，使得云计算系统管 理员和应用开发者能够快速的定位查看分析云计算系统中的数据，并已应用在相关项目中。 关键词：云计算；日志系统；Hbase；Kafka；分布式计算；大数据 中图分类号：TP311 Large-scale log data processing system in cloud-based environment Wang Chao, Xu Peng (Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: With the development of Cloud Computing technology, large quatities of data are constantly generated in the cloud everyday. How to handle the collection, storage and analysis of the log data generated by Cloud Computing System itself and the applications hosted in it becomes a big challenge. This paper brings forward the problems encountered in log processing in Cloud Computing Environment, and the design of a log storage and analysis system is proposed to sovle these problems. Some key technologies involved are introduced further. The system enables Administrators of Cloud Computing System and application developers to quickly look over the log distributed genenrated in different nodes. In present the log system has been applied in relevant project. Key words: Cloud Computing; Log System; Hbase; Kafka; Distributed System; Big Data 0 引言 随着互联网技术快速发展和移动互联网的兴起，互联网应用不仅在数目上呈现高速增长 的趋势，而且更新迭代速度越来越快，要求新应用更快更好地上线。而随着虚拟化、集群、 网格计算等相关技术的发展，云计算应运而生[1]。简单而言，云计算是一种基于互联网的向 外提供灵活的可按需配置的计算资源服务的服务模型。在这一新趋势下，亚马逊、谷歌、微 软等转变为平台服务提供商，将自身的物理资源封装成平台服务向外提供。 云计算系统往往依赖于许多分布式的基础组件来提供服务。云计算系统本身的组件会产 生大量的日志数据，如，负载均衡器，应用容器运行日志等。而云中的应用每天也会产生大 量的日志数据，一般为流式数据，如，网站的页面浏览，查询等等。 越来越多的应用开发者也正在转向云，以满足加速应用开发周期并保证应用高稳定性和 高可用的需求。随着云计算平台开发者数量的增长，随着使用云计算平台支撑的互联网应用 用户数量的增长，系统的日志数据量也在同比例的增长。怎样收集这些日志数据，怎么存储 这些海量数据，怎样帮助平台维护者和应用开发者去分析这些数据，都是目前面临的问题。 作者简介：王超 (1989- )，男，硕士研究生，云计算及应用 通信联系人：徐鹏（1977-），男，副教授，主要研究方向：云计算及应用. xupeng@ -1- 1 相关知识   1.1  云计算 目前，工业界已经涌现出众多云计算技术平台[2]。云计算提供三种类型的服务:基础设 施服务(IaaS) ，平台服务(PaaS)和软件服务(SaaS)