基于Hadoop 的城市道路交通流量数据分布式存储与挖掘分析研究精选.docVIP

基于Hadoop 的城市道路交通流量数据分布式存储与挖掘分析研究 Distributed Storage And Mining Analysis Research Of Urban Road Traffic Flow Data Based On The Hadoop Liao Fei1Gong Dejun1,2 An Le2 Abstract Faced with huge and rapidly growing urban road traffic flow data, in order to deal with faststorage to huge traffic flow data and mining analysis it efficiently. Use HBase distributed database based on Hadoop to store the collected urban road traffic flow data, and then use Hadoop efficient parallel MapReduce computing programming model to deal with mass data mining analysis of urban traffic flow data. In the experiment, and achieved ideal results, based on Hadoop is verified in the storage and processing of urban road traffic flow data is more efficient than the traditional way, and has great application prospect. Key words trafficflow;Hadoop;HBase;mass data processing;parallel computing; mining analysis 引 言 随着人们生活水平的提高,城市汽车拥有量快速增加,城市道路交通流量急剧增长,交通堵塞、交通事故、交通违法等交通问题日渐显著。面对如此巨大而且快速增长的城市道路交通流量数据,如何快速存储、灵活扩展存储容量,采用何种科学、有效的数据挖掘手段对海量的交通流量数据进行分析研究,是城市交通领域的一大难题。 本文研究基于Hadoop中HBase分布式数据库来存储每一时段采集到的城市道路路段交通流量,实现海量数据的高速存储,并具有无限的扩充能力,采用Hadoop高效并行计算MapReduce编程模型对海量的城市交通流量数据进行数据挖掘分析,得到每一时刻、每天、每月的城市各路段交通流量统计分布情况,为城市路网规划、城市交通管理与控制提供依据,为交通研究、交通规划设计、交通管理部门提供决策支持辅助,对缓解城市交通问题具有一定的促进作用。 Hadoop的整体架构 Hadoop是Apache软件基金会的开源分布式计算框架,在众多大型企业都有成功的应用案例。Hadoop实现了MapReduce并行编程模型,提供了分布式文件系统HDFSHadoop Distributed File System,简称HDFS,为分布式计算提供底层存储支持[1][2]。Hadoop在可扩展性、高效性、易用性、经济行、可靠性等方面具有很强的优势[1][2]: Hadoop主要的组成项目包括Hadoop Common、Avro、MapReduce、HDFS、ZooKeeper、Pig、Chukwa、Hive、HBase等子项目,具体如图1所示。 图1 Hadoop相关项目成员 Fig.1 Hadoop Related Project Member 总体架构 从交通流量数据自身实际特点,基于Hadoop设计了城市道路交通流量数据分布式存储与挖掘的总体架构。该总体架构如图2所示,自下而上包括四个层次,主要由数据采集层、数据存储层、挖掘分析层、应用服务层构成,在本文中,数据存储层与挖掘分析层是研究的重点。 图2 总体架构 Fig.2 Overall Architecture 数据采集层 交通流数据的采集主要通过部署在各个路段的感应线圈来获得,并把获得的数据传输给数据采集系统,然后把数据汇总定期通过并行存储编程接口写入到分布式数据库中。采集到数据包含车牌号、车辆型号、行驶方向、驶入时间等信息。 2.2 数据存储层 数据存储层主要通过MapReduce数据并行存储编程模型把数据批量地写入HBase分布式数据库中,而写入的数据主要存储在Hadoop计算机集群中。该层中的计算机集群采用经典的主/从部署架构,也叫Mast