利用廉价计算机实现大规模数据处理的技术研究与实现.pdfVIP

电信息技术? 利 用廉价计算机 实现大规模数据处理 的技术? 研 究与实现木? 杜 奕强? ?京 华信 息科 技股 份有 限公司 ?? 摘 要 ：将虚拟化和 ??????等云计算技术引入大规模数据处理过程中，提出采用大量廉价计算机建成具有? 低成本 、高效率、高可靠性和高伸缩 性的计算机集群的方法 ，并创建对应 的系统框架模型 。通过搭建计算平 台，? 验证 了利 用廉 价计 算机 实现 大规模数据处理技术的可行性 。? 关键 词 ：云计算；大规模数据；廉价计算机：??????? ?? 引言? 价计算机实现大规模数据处理技术的可行。? ? 相 关研究? 随着互联网的深度普及和 ??应用模式的转变，? 各学科研究领域和行业应用领域数据量呈爆炸式增? 本文研究利用虚拟化技术，采用大量廉价计算机? 长? ，数据规模都达到 ??级别甚至 ??级别。如：目? 建成计算机集群 ，针对 大规模数据处理对 软件 、硬件? 前淘宝每天 的活跃数据量 已经超 过 ?????；美 国? 和网格等各类信息资源的要求，在大规模廉价计算机? ??????????????????????工作时每秒产 生的测量数据为? 集群上部署 ??????软件平台，通过 ?????????编程? ??????；电力行业通过建立智能变电站数据中心，以? 规范【??创建并执行分布式应用程序，从而形成支撑大? 期实现跨地域电力信息共享、智能调度和应用集成；? 规模数据处理和数 据存储 的环境 。? 政府职能部门集中各行政级别、跨地域的异构数据进? ?．?? 通过虚拟化技术实现大规模廉价计算机集群? 行 综合处理和分析 。? 平 台? 传统的计算技术在一定程度上满足了大规模数? 虚拟 化 技术 是指 将 底层 物理 设 备与 上层操 作 系? 据 处理 的技术要求 ，但 存在两大 关键 问题局限 了大规? 统 、软件 分离的一种去耦合技 术 。它通过软件 或固件? 模数据处理的应用：??传统的计算技术 ?如分布式计? 管理程序构建虚拟层并对其进行管理，把物理资源映? 算?在技术上的局限性，导致异构数据彼此分割，难? 射成逻辑的虚拟资源，对逻辑资源的使用与物理资源? 整合；??传统计算技术对硬件设备要求较高，导致系? 相差很少或者没有区别，均可以独立执行计算任务和? 统性价 比较低 。因此 ，随着 互联网 的深 度普 及和 ??? 数据处理任 务【?】。虚拟 化是云计 算中相对独立 的一种? 应用模式的转变，需要一种比这些技术更方便、更低? 技术，具有悠久的历史。从最初的服务器虚拟化技术，? 成本 、更 高效率 、更