299-高校数据中心建设解决方案.pptxVIP

高校数据中心建设解决方案1、数据中心的思考2、数据治理的核心过程3、数据中台的能力说明4、已实践的应用建设目录5、我们的案例分享1数据中心建设的思考Part数据思考：痛点数据资产不清晰缺乏标准规范0201数据散落各处，无从知晓数据的分布、内容、质量、管理权、责任人。缺乏统一的代码标准、编码规则；缺乏统一的数据全生命周期管理制度和规范。0403不能满足使用需求数据质量问题缺乏完善的数据交换共享服务，数据责权不明确，不能满足使用需求缺乏数据质量规则和质量指标，缺乏技术手段进行质量问题处理，数据达不到或不满足使用要求。大数据应用现阶段做很多学校都已做数据中心，但随着业务不断的发展，发现已建设的数据中心无法针对流水数据、日志数据、非结构化数据做处理、交换、应用，堵塞了教育数字化改革前进路程，导致重复建设数据思考：赋能梳理共享数据治理应用全面激活数据资产，面向高校师生、管理者的开放数据应用模式全面梳理数据资产，确认数据来源业务流程，解决“数据孤岛”问题制定数据标准、管理规范，提升数据质量，满足现阶段数据交换共享需求服务导向治理体系工具赋能以数据为驱动，以服务为导向，服务学校管理层、部门、师生个人。对数据进行采集、计算、存储、加工，同时统一标准和口径，形成标准数据，再进行存储，形成数据资产，为客户提供高效服务。对数据从产生、处理、整合、共享、应用、销毁等全生命周期进行管理。离线抽取数据安全统一运维安全合规管理数据湖定时汇聚Oracle数据运维教务安全配置检查MysqlMongoDB学工实时汇聚人事非结构化数据KafkaLOG网络安全分析办公关系型DB报表服务主题自定义API资产steamAPI填报算法模型管理决策预警主题数据资产管理安全事件响应教学分析主题日志一网通办主题互联网敏感数据加密物联网平台运维移动校园主题媒体敏感数据脱敏数据泄露防护存储层CaymanHbaseRedisTeryxmppKudoHDFSMongDBStork数据中台架构决策分析一表通数据门户一网通办移动校园综合报表数据应用数据服务数据集市数据治理资产教务学工业务系统CSVTXTLOG数据标准制定数据质量探查数据发布人事...科研库表推送数据规范制定数据清洗转换主数据中心API管理数据资源目录问题数据报告填报数据API共享代码化治理脚本编辑论文科研竞赛社团数据查询元数据开发订阅管理日志数据数据标签管理数据血缘关系数据地图数据分层管理数据模型管理上网行为无线AP网络安全身份认证RestAPI数据可视化可视化建表数据编目管理数据归集物联网基础平台智慧安防智慧宿舍人脸识别智慧消防采集层共享层元数据管理作业调度数据权限OGGDataxDoudoFlinkStormSparkTez批处理互联网流处理KafkaHiveSparkstreamingCanalSqoopFTP信息科研数据学术FlumeFTPAPI2数据治理核心过程Part组织架构建立学校组织保障厂商项目组织保障项目总监项目领导小组信息化分管校领导各二级单位负责人信息中心产品组交付组方案组校方工作组人员组成产品支撑治理交付解决方案小组业务部门1……信息中心业务部门N系统A数据管理者系统Y数据管理者数据标准管理者项目经理系统Z数据管理者数据质量管理者系统B数据管理者PHP开发方案架构汇聚组资源调研……前端开发标准制定模型组平台部署数据分析师厂商工作组数据库开发过程执行应用组环境测试数据库工程师技术支撑运维组方案小组产品小组交付小组文档管理成果交付数据调研与采集服务实现全域数据采集，数据类型涵盖业务数据、日志数据、填报数据、物联网、互联网数据收集等。数据标准及管理服务统一学校数据编码规范，代码规范，打通学校各部门业务数据。数据治理服务实现所有数据治理过程的线上管理，通过统一的数据治理平台实现对元数据、主数据、数据交换任务的管理以及对数据质量清洗转换的管理和服务，保证数据治理过程可整体管控。数据资产管理支持多层次多角度的统计分析概览功能。按照不同的数据存储层以及不同层下的主题去查看数据情况，以概览平台数据的总量和增量的变化情况。全量数据治理服务数据调研，梳理高校信息，构建数据资产数据标准，落地数据标准，建立数据规范数据治理，提升数据质量，实现数据价值数据服务，提供数据服务，数据交换共享数据交换共享提供统一对外的访问方式，用户可随时根据需求定义标准的访问接口、视图访问、库表推送，并可根据用户进行字段访问授权。数据调研调研前准备指定项目接口人确认业务系统厂商技术人员业务系统数据库登录账号业务系统数据字典调研模板基础数据调研业务范围调研工作流程梳理数据来源/历史数据当前编码规范/代码标准数据共享交换需求数据确源数据变化频率确认采集规则互联网信息数据学术科研填报数据科研论文竞赛社团物联网人脸识别智慧