易达讯大数据平台65.pptVIP

Hadoop 生态环境 易达讯数据平台 eStar CMM – 分布式消息、分布式流数据、ESB 数据交换 数据共享 数据处理 Linux集群 HDFS Map Reduce Lucene HBase Storm Solr Zoo Keeper 大数据管理 共享交换管理 易达讯数据平台应用架构 交换服务 超高性能、可靠性和处理能力提高 管理能力增强 云交换服务 eStar CMM – 分布式消息、分布式流数据、ESB 数据交换 数据共享 数据处理 Linux集群 HDFS Map Reduce Lucene HBase Storm Solr Zoo Keeper 大数据管理 共享交换管理 数据平台 VS. 传统交换平台 QQ引擎 单台服务器 单机处理 外部存储 Pass-Through ASP 服务模式 16轮+大卡引擎 单台服务器至上千台服务器集群 多机并行处理 本地集群存储 Store-Forward 云交换服务模式 云交换服务 虚拟平台 A （交换域、节点） 虚拟平台 C （部门内部交换） 虚拟平台 B （交换域、节点） 部门 业务 系统 部门 业务 系统 部门 业务 系统 本地 前置 中心 前置 云 计 算 中 心 云交换SAAS服务 一套云交换产品 多租户虚拟交换平台（一对多） 可以支持无限多个虚拟平台 各虚拟平台完全独立运行 每个虚拟平台支持多个交换域 每个域内管理多个交换节点 支持互联网或政府网运行 整合共享服务 整合 利用数据整合工具整合来自不同数据源的数据 数据源可以是结构化和非结构化数据 大量适配器组件 清洗、过滤、转换 查询、检索 可以检索任何数据，如Word、Excel、PDF、数据库和HTML文档 速度快、查询精准 在线实时分析 全量数据分析 eStar CMM – 分布式消息、分布式流数据、ESB 数据交换 数据共享 数据处理 Linux集群 HDFS Map Reduce Lucene HBase Storm Solr Zoo Keeper 大数据管理 共享交换管理 适配器 Oracle MS SQL 文件 Web Services API 查询 分析 调用 数据轨迹实时跟踪核对 * 数据核对跟踪 * 云交换SaaS服务 * 在一个物理平台上建立多个虚拟交换平台 每个虚拟平台可分配多个交换域 按业务域和节点管理信息共享 * 按业务流程建立业务域管理体系。业务域以横向协同为主，通常为一种跨部门业务流程 按业务域给出合作节点的状态，如运行，停止与未安装 按管理职能建立节点管理体系。节点以部门为主，在其职能范围建立管理 分布式云消息总线 * 提供集成平台所需的各种服务纵向 消息服务总线 企业服务总线 流程服务总线 提供总线服务器集群的监控 总线运行情况 总线服务器情况 提供总线服务器集群的管理 启动 停止 提供总线服务器集群 云平台管理与监控 * 通用Hadoop框架 提供Hadoop以及Hadoop相关的服务 集成Hadoop管理监控 检查集群状态 操作集群的管理，如启动，停止等 Hadoop集群为平台提供统一的存储，数据库，数据批处理等功能 建立新应用 * 云平台管理系统本身是建立在新的SSH应用开发体系 SSH－Hbase体系代替了传统的关系型数据库，提供的角色管理，界面框架，以及对象与NoSQL数据库的映射 新应用可以在平台上直接开发 平台提供完整的应用开发体系 大数据平台特点 集数据采集、传输、存储为一体 支持交换服务、共享服务、存储服务和处理服务 支持传统交换和云交换服务模式 极高的可靠性、扩展性 极强的处理能力 低成本 易达讯数据平台安全保障 认证 利用业界标准Kerberos可信的第三方认证协议 认证用户、服务、服务器等 授权 采用访问控制列表（ACL，Access Control List）技术 LDAP、HDFS权限设置等 必威体育官网网址 加密机制，RPC加密、HDFS数据传输加密、HTTPs 数据完整 数字见面方式保证数据的完整不被串改 审计 提供详细的审计报告 易达迅云交换平台实例 eStar Cloud Bus Platfrom * eStar云交换平台实践 国家旧机动车交易网 宁波市数据交换公共服务平台 浙江省人口基础信息库 * 北京旧机动车大数据交换平台 背景介绍 全国最大的机动车市场（网上和网下） 每年机动车买卖（拍卖和交易）额超过10亿 全国最大的在线机动车拍卖系统 业务需求 实时全国性大拍卖系统 与中大型网站和车商实现二手车信息交换 技术要求 实时、大并发拍卖 实时、可靠的信息交换 处理大量非结构化和半结构化数据 * 国家旧机动车交易网 易达讯大数据平台 易达讯旧机动车交易市场大数据平台 拍卖 交换 过户 交易 大数据