大数据图像处理技术在智能电网的应用分析.docVIP

大数据图像处理技术在智能电网的应用分析 　　【摘要】 随着互联网、移动通讯技术的不断发展，特别是电商、社交、即时通讯平台的活跃，以及企业信息化、智慧城市、智能电网的快速建设，近几年来，视频、图像数据呈现爆炸式增长，与此同时，图像处理技术也得到快速发展，特别是大数据技术的应用为大规模图像处理提供了技术可行性。本文就图像技术的现状、大数据体系、大数据图像处理技术进行分析论述，并结合智能电网应用场景进行了思考与分析。 　　【关键词】 图像技术 大数据 Hadoop 智能电网 　　引言 　　当前，大数据分析已经成为各行业的一个重要决策支撑手段，大数据技术能够简化处理海量数据，其大规模集群数据处理开源软件框架Apache Hadoop，可以可靠地依靠成千上万规模节点处理PB级数据。利用大数据技术实现图像处理，能够突破传统图像处理技术瓶颈，快速实现大规模图像数据的处理计算，给企业带来巨大价值。 　　一、图像技术现状分析 　　1.1存储技术现状 　　目前国内外图像存储解决方案有两种，分别是图像存储至数据库和图像存储至硬盘。在海量图像规模下，传统数据库承载太多图像会导致数据库容量和效率成为极大的瓶颈，常见做法是图像存储在硬盘，图像路径存储至数据库。存储容量方面常采用增加专业的磁盘阵列，磁盘柜或者高级的光纤盘阵、局域网盘阵等方式解决，而提升访问效率方面常采用squid缓存和镜像方法。 　　1.2应用技术现状 　　图像应用技术随着互联网浪潮不断发展，按应用领域不同可归纳为物理设备应用、基础软件应用、智能分析应用、智慧分析应用四个应用层次，其技术实现难度逐层增加。物理设备应用、基础软件应用是当前主流应用技术，智能分析应用、智慧分析应用是未来图像应用的演进方向。 　　物理设备应用。物理设备应用是基于视频采集设备的基础应用，表现为基于各类型摄像头的监控应用。当前视频监控数据保存周期有限，监控识别过程多为人工。目前市面上部分厂家将带有特定算法的智能芯片集成到物理设备中，实现特定的分析功能，如：智能家居安防摄像头，能够监测视频画面中的物体移动实现远程预警；智能车库解决方案，通过车牌识别算法实现车牌的快速识别。 　　基础软件应用层。以社交网站、视频网站为典型代表。主要实现图像信息、视频信息的海量存储、快速读取、分享交互。根据业务的不同需求，可灵活采用传统图像处理架构或分布式图像处理架构，图像信息的检索主要以文字有哪些信誉好的足球投注网站为主。 　　智能分析应用。智能分析应用包括图像智能分析，图像检索，视频切片分析等高级应用。目前淘宝、京东等电商企业图像智能分析技术领先。如淘宝“拍立淘”功能便是图像智能分析（以图搜图）的典型应用，通过类目预测，主体检测，图像特征提取，检索索引和排序5层算法框架、利用大数据、云计算、机器学习等先进的信息技术实现用户购物方式的颠覆。 　　智慧分析应用。智慧分析应用是指对图像信息处理的实时计算、深度学习和智慧决策。典型应用为Google公司无人驾驶技术的应用研究，实时对摄像传感器采集的视频信息进行计算分析，实时决策。 　　二、Hadoop体系结构 　　HDFS和MapReduce是Hadoop的两大核心。而整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持的，通过MapReduce来实现对分布式并行任务处理的程序支持，HBase是Hadoop体系下基于Bigtable的分布式数据库，其为大数据的存储和应用提供很好的底层支持。 　　HDFS 　　HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间操作，比如打开、关闭、重命名文件或目录等，负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写请求，并在NameNode的统一调度下进行数据块的创建、删除和复制工作。HDFS体系结构如下： 　　MAPREDUCE 　　MapReduce是一种并行编程模式，这种模式使得软件开发者可以轻松地编写出分布式并行程序。在Hadoop的体系结构中，MapReduce是一个简单易用的软件框架，基于它可以将任务分发到由上千台商用机器组成的集群上，并以一种高容错的方式并行处理大量的数据集，实现Hadoop的并行任务处理功能。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点上的TaskTrack