IM平台相关技术.doc

DCIM平台相关技术 面对海量数据，DCIM管理系统不能仅依靠少数几台机器的升级（Scale-up ,纵 向扩展）满足数据量的增长，必须做到横向可扩展（Scale-out）,既满足性能的要 求，也满足存储的要求（包括结构性数据、非结构形式、半结构性数据），?由于 服务需求的多样性，平台既要支持传感器数据流的实时分析与处理又要支持复杂 查询与深度分析所需的高性能、低延迟需求。平台需具有高度容错性，大数据的 容错性要求在作业（」ob）执行过程中，一个参与节点失效不需要重做整个作业。 机群节点数的增加会增加节点失效概率，在大规模机群环境下，节点的失效不再 是稀有事件。 因此在大规模机群环境下，系统不能依赖于硬件来保证容错性，要更多地考虑软 件级容错，同时増加系统的可用性。系统的开放性也是十分重要的，各子系统之 间数据交换、共享以及服务集成是必不可少的。 DCIM平台特性 说明 高度可伸缩性 横向大规模可伸缩，人规模并行处理 实时性 对数据中心基础设施传感数据流、告警事件的实时处理 高性能、低延迟分析 快速响应复杂査询与深度分析、实时分析结果 高度容错性 系统在硬件级、软件级实现容错 开放性 系统之间可实现数据共享、服务集成 可以按如下参考框架来构建DCIM平台的数据处理技术和层级 :子系统 分?5^從子贼盾杂理子系统 L1J.火^^入子絨 L1J. 图10-5 DCIM大数据平台参考架构 1.大数据接入子系统 可以利用事件驱动的架构(Event-Driven Architecture)支持大型数据中心中各 垂直子系统大规模TCP/IP连接的高并发处理，使用消息队列模式的订阅/发布 模式。同时利用负载均衡和反向映射等技术，构建接入服务器集群，实现高容错 2.流数据处理子系统 来自设备和子系统的大量数据需要得到实时处理，需要弓I入分布式的、容错的实 时计算流处理(Stream processing)系统。除了接受接入子系统传入的实时 数据流，还提供对数据流的连续查询和混合查询支持。 连续查询用于实时持续不断地监控，用户可以指定连续查询的滑动时间窗口，对 于进入窗口且符合查询条件的事件进行报警监控。混合查询用于不仅需要涉及动 态流数据还需要访问静态历史和空间数据的复杂查询。 3.复杂事件处理子系统 接入的现场监控系统数据在上传到DCIM大数据平台时包含大量的事件，流数 据处理弓I擎也会根据定义的规则产生大量的事件，而这些事件存在密不可分的相 关性。为更智能的处理这些海量事件，将事件相关性分析、联动等业务决策从应 用程序代码中分离出来，一个智能的复杂事件处理引擎(Complex Event Process )是最佳的选择。CEP接受从流数据平台过来的数据输入，解释业务规 则，并根据业务规则做出业务决策，实现事件过滤、合并、分流、定位、告警等 服务。 环境传感 动力设格 IT基础设 X 资产变更?- CEP引 9 用户操作?? 图10-6复杂事件处理 舒 1 言号：chiriciclcc 可用成熟功能的CEP引擎实现以下功能： ?可接入多种异构数据源，通过适配器转换为统一数据格式； .在内存中实时处理数据流，相比起传统事件引擎首先将数据存储至数据库后再根 据业务规则加载处理的轮询方式有更好的性能; ?支持持续查询语言的规则数据库，其结构化查询语言类似SQL ,提供映射、过 滤、关联、聚合、模式匹配、延时和时间窗口等反式(Reactive )处理； 支持订阅/发布机制，主动推送处理结果给事件订阅者； 4.分布式存储子系统 DCIM采集到的数据经过流数据平台处理后必须做存储处理。为应对巨量设备接 入后产生的海量数据，需要分布式数据库和分布式文件系统技术，将廉价可靠的 PC服务器存储设备集合起来协同工作，形成一个分布式、高容错的云存储平台， 为后期的分析处理提供便利。 NoSQL分布式数据库 NoSQL(Not Only SQL) z泛指非关系型的数据库，是随着互联网应用兴起的新 型的大规模、分布式数据存储系统。相比现有的关系数据库系统具备以下优势 ?灵活的可伸缩性 对于传统的关系数据库，当数据量大幅増加时，服务提供商必须增加更多的服务 器和存储服务器来扩展这些数据库.但想在通用硬件上对传统的关系数据库做 横向伸缩的扩展并不是件容易事。而NoSQL数据库被设计来解决这个问题, 它的透明伸缩能力能够非常便捷通过加入新节点来増加存储，避免了升级导致的 服务暂停，有效地节省了数据库的扩展升级成本 超大规模数据分布式存储 在数据中心监控领域，随着数据中心建设的规模越来越大，需要监控的对象越来 越多，存储的监控数据量已经超出了传统数据库所能承载的范围。而这种大数 据可以通过NoSQL系统来进行分布式存储有效解决了超大数据的存储问题、 ?灵活的数据模型 对于