大数据在公安交通管理行业的应用.docVIP

大数据在公安交通管理行业的应用 　　摘 要： 当前通过交通基础设施采集的信息越来越复杂。应用一种改进版的TDH Hadoop大数据技术，通过采集异构、动静结合的交通基础信息数据，对数据进行分析挖掘，在公安交通管理方面运用，改善了交通运行状况。 　　关键词： TDH Hadoop； 交通基础信息数据； 大数据技术； 交通诱导； 数据分析 　　中图分类号：U491 文献标志码：A 文章编号：1006-8228（2016）10-40-03 　　Application of big data in public security traffic administration industry 　　Jiang Xiong， Shen Ping， Chang Bin 　　（The traffic police detachment of Huzhou public security bureau， Huzhou， Zhejiang 313000， China） 　　Abstract： At present， the information collected by means of transport infrastructure is becoming more and more complex. Application of an improved version of the TDH Hadoop big data technology， which collects the heterogeneous， dynamic and static traffic basic information data， analyzes and mining the data， put it to use in public security traffic administration to improve the traffic operating condition. 　　Key words： TDH Hadoop； traffic basic information data； big data technologies； traffic guidance； data analysis 　　0 引言 　　步入汽车普遍使用社会，道路拥堵几乎是我们每个人都要面对的问题。而引发道路拥堵的原因有多方面因素，如道路设计，信号配时，交通事故、节假日、早晚高峰等时段性常发问题等。缓解以上问题，一是借助交通长远规划，加强路网建设、改造，二是借助科技、优化交通组织，强化交通管理，提高道路通行与管控能力。下文是我们的工作实践，希能抛砖引玉。 　　1 相关技术研究 　　1.1 系统框架 　　交通基础信息数据的采集有其行业特征，一是采集方式多样，例如通过手机信令、摄像机、微波、雷达、地感线圈、地磁棒等设备等采集到的文本、图片、视频数据；二是数据容量庞大，目前地市级交警支队每年的数据量已从原来的TB级向现在的PB、甚至ZB数量级增长；三是数据种类广泛，不但包括驾驶人、车辆等基本信息，还有的各种行车数据等，以及其他部门的接入数据等。面对海量异构数据，如何进行准确高效的分析和处理，对存储、查询和计算能力都提出了很高的要求。大数据技术有快速、实时的优势，但Hadoop技术对海量数据进行分析和利用效率很低，这就需要完备的决策分析工具集运行在Hadoop架构之上，TDH Hadoop技术应运而生。系统框架图如图1所示。 　　1.2 大数据技术介绍 　　TDH Hadoop是针对大规模分布式数据而开发的软件框架，inceptor采用专有的高效列式内存存储格式和为内存优化的Spark计算引擎，相比Map-Reduce框架消除了频繁的磁盘I/O。Spark引擎还采用了轻量级的调度框架和多线程计算模型，具有极低的调度和启动开销，执行速度更快，系统MTTR大大缩短。实时在线应用方面，Hyperbase构建了全局索引、辅助索引和全文索引，扩展了SQL语法，满足在线存储和在线业务分析系统（OLAP）的低延时需求。Discover高效快速的数据挖掘能力与TDH对主流可视化和BI工具的支持，综合在执行引擎及数据存储层上的优化，使得TDH性能全面领先开源Hadoop 2.0，比主流MPP数据库快1.5到10倍。软件逻辑架构[1]如图2所示。 　　1.2.1 HDFS分布式文件处理系统 　　HDFS是一个高效的分布式算法，将数据的存储和访问分布在大量服务器之中，在可靠地多备份存储的同时，还能将访问分布在集群中的各个服务器上，是传统存储构架的一个颠覆性的发展。 　　Namenode登记采集到的基础交通信息作为元数据，将不同来源的基础数据按块，分配到服务器