大数据技术在智慧工程中的研究和应用 .pdfVIP

大数据技术在智慧工程中的研究和应用

摘要:大数据时代的到来在无形之中带动了各行业发展，在这期间形成的大

量数据，必须加以合理利用，围绕此展开专业精准的分析。大数据分析技术面向

不同领域数据进行全面收集与存储，因此，深度挖掘数据潜在价值，提升数据资

源利用率，既是行业发展的现实需要，也是社会进步的必然趋势。

关键词：大数据技术；智慧；工程

引言

大数据技术就是对海量数据进行科学分析和有效处理的一种先进技术形式。

该技术的优点主要在于可以对各种风格、类型的海量数据进行处理。相较于网络

数据的传统处理技术，大数据技术的应用不仅可以实现数据处理量显著扩大，还

可以实现各种复杂类型数据的快速处理。因此，随着大数据技术在当今社会各个

领域的应用，各行各业的发展及其经济效益的提升都拥有了足够的技术支撑。

1大数据技术概述

大数据技术对社会生产生活中所产生的各种数据进行科学筛选，并从中快速

获取具有研究价值的数据信息的一种新型产业类技术形式。在大数据技术中，大

数据的采集、预处理、管理、储存、分析以及应用等都是其核心技术。由此可见，

对大数据处理技术而言，核心并不仅仅在于海量数据信息的处理，而是在海量数

据信息中发现有价值的信息，并将其应用到特定领域。大数据技术不仅可以处理

庞大的信息，还具备非常快的计算速度，且能够对多样化的数据进行处理。相较

于网络数据的传统分析和处理技术，大数据技术的优势主要表现在以下几个方面。

第一，它有庞大的数据体，其储存单位可以从TB（太字节）直接跃升到PB（拍

字节），且这种以PB为单位的数据储存方式已经广泛应用到各大企业中，由此

可充分证明大数据技术自身所具有的海量性特征。第二，大数据处理技术在复杂

数据信息的处理中更加适用，该技术的应用可以让复杂问题得以简化，并让信息

更加直观。第三，大数据技术可以对更多类型的数据信息进行处理，如地理位置、

图片和视频等。第四，大数据技术具有速度快和实用性等特征，可通过快速传输

的方式实现数据传递与取用，可以让很多复杂数据更加便于处理，实现数据处理

工作效率的显著提升。

2大数据技术在智慧工程中的应用

2.1多源异构数据采集

数据采集主要实现内外部系统的结构化、半结构化、非结构化等不同类型、

不同时效的数据的复制与整合。例如将视频监控、日志文本等对象数据，接入到

对象存储数据库中;将物联网平台采集的时序数据，如光伏组件监测数据、风力

发电机组监测数据、升压站监测数据等，接入到时序数据库中;将业务系统传输

过来的业务数据，如计划、调度、运营等结构化数据，接入到关系存储数据库中。

大数据平台集成MapＲeduce、Spark、Flink并行计算框架以提供高效灵活的接

入，数据采集技术总体设计特点包括:①支持高吞吐量数据的高并发接入;②数据

不丢失不重复接入，保证数据高可靠性;③接入数据的事务性，同一批数据要么

都接入，要么都未接入;④支持复杂网络环境下的可靠数据采集;⑤支持跨网段、

跨单位的数据采集;⑥支持基于通道、文件的加密传输;⑦支持多种数据接口和传

输协议;⑧支持断点续传。

2.2数据集成处理

数据集成实现数据的转换、逻辑判断、数据质量的检查、异常处理、数据路

由、数据的规范化等处理。数据集成包括数据清洗、数据校验、数据转换、数据

标准化。数据清洗目的在于删除重复信息、纠正存在的错误，保证数据的有效性。

数据校验基于数据接入标准，比如数据类型、数值特征等，对数据进行校验，保

证数据的准确性。数据转换一般包括两类，第一类:数据名称及格式的统一;第二

类:数据仓库中存在源数据库中可能不存在的数据，因此需要进行字段的组合、

分割或计算，数据转换解决数据不一致问题。数据标准化就是对数据的命名、数

据类型、长度、业务含义、计算口径、归属部门等，定义一套统一的规范，保证

数据定义、理解、使用的统一。

2.3数据分析

数据分析指数据分析或运维技术人员利用自身经验知识，使用大数据平台的

案例数据和运行数据，针对要分析的业务对象进行业务理解，理解业务目标、业

务目标产生的机理逻辑、筛选与业务目标有关的数据，利用平台提供的数据挖掘

算法进行建模分析，推动业务的智慧化运营。

围绕大数据展开的分析通常集中在数据容量、数据速率、数据格式等方面。

HDFS又被称为分布式文件系统，一般应用于大容量存储中，各企业选用云存储方

式进行海量数据存储，以其大容量优势满足现代企业数据管理需求。分布式文件

系统构成为客户端模块、元数据管