面向航空制造业的海量数据处理研究.pdfVIP

2013年4月 机械设计与制造工程 Apr．2013 第42卷 第4期 MachineDesignandManufacturingEngineering Vo1．42No．4 DOIi10．3969／j．issn．2095—509X．2013．04．007 面 向航空制造业的海量数据处理研究 吴 恒，王东勃 (西北工业大学机 电学院，陕西 西安 710072) 摘要：为了向航空制造业的海量数据处理提供一种新颖的模式，以Hadoop开源软件平台为架构． 介绍了HDFS分布式存储系统和Map—Reduce编程模式，分析了航空制造业海量数据处理需求． 提 出了一种应用于航空制造业的海量数据处理模型，即将数据格式划分为若干个主要字段 。按照 该数据格式在分片中对数据进行深度优先挖掘 ，将提取出的数据 以键值对的形式并按照一定的 存储格式存储于HDFS中，利用Map—Reduce并行算法对存储的数据进行排序和分区处理。最 后提出了基于K—NN的并行化数据挖掘算法，且分析了海量数据处理模型的扩展性、实时性和 快速处理等性能。 关键词：航空制造业；海量数据；Hadoop；数据处理模型；键值对；算法 中图分类号： 99 文献标识码：A 文章编号：2095—509X(2013)04—0028—40 航空制造业的数据发生了很大的变化。从航 分类好的数据再进行分块序列式存储。 空制造过程看，产品的设计研发产生的二维文档或 HDFS是一个主从体系结构…，如图 1所示。 三维模型数据，生产制造产生的BOM表、工装数据 HDFS提供了访问海量数据的支持。HDFS分为两 和El志数据，实验过程中采集的数据，到最后的装 种节点：名称节点 (Namenode2【)和数据节点 (Da． 配数据，这些数据总量至少是PB级别。从数据结 tanode )。这两种节点是运行在计算机上的软 构来看，除了结构化数据，生产制造过程产生的更 件。在集群中，只有一台专门计算机负责运行唯一 多是非结构化数据和半结构化数据。然而 目前使 的名称节点，其他机器则分别运行着数据节点。名 用的关系型数据库很难胜任海量数据的存储和分 称节点负责维护文件的命名空间以及文件数据块 析计算，大多数面向航空制造业的优秀产品数据分 复制的大小。数据节点将 HDFS数据块存储在本 析处理软件也很难满足海量数据处理的要求。因 地文件系统中 。 此，需要寻求一种新的海量数据处理方式来支持航 空制造业的海量数据处理。 本文所研究的内容是基于Hadoop…开源软件 平台，它集成应用了机器集群技术、网格技术和分 布式文件系统，可以方便实现存储空间的扩展、数 据容错以及数据的高效处理。 1 Hadoop核心技术和Map．Reduce编程模 型 Hadoop是一种开源软件平台，能够更加容易 图1 HDF$主从体 系结构 地编写可处理海量数据的并行应用程序。它使用 Map．Reduce 是一种可用于处理数据的编程 了一种分布式文件存储系统 HDFSLlJ，这种分布式 模型。这种模型是采用并行运行的模式，因此可以 文件系统提供一个分布式集群存储环境，使得海量 将海量数据处理任务交给任何一个拥有机器集群 数据能够遍布存储于该大集群环境上，并且将之前 的系统 ，Map—Reduce的优势就在于可以高效处理 收稿 日期：2012—10—29 作者简介：吴恒 (1988一)，男，陕西西安人。西北工业大学硕士研究生，主要研究方向为信息化。 · 28 · 2013年第4期 吴 恒 ：面向航空制造业的海量数据处理研究 海量数据。这种编程模型