浅谈数字化校园共享数据中心建设.docVIP

浅谈数字化校园共享数据中心建设摘要：数字化校园是一个庞大的工程，数据整合更是这个工程的核心之一。该文主要探讨了共享数据中心数据集成的主要思路。以中间件模式解决异构数据的集成，通过在应用系统创建中间表，降低了应用系统厂商对学校的技术限制；实现将分散于各业务部门的数据组合成数据链条，完成数据的有机整合。 关键词：数字化校园；共享数据中心；异构数据集成；中间件；中间表 中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2013）09-2273-02 目前，国内各高校正在进行数字化校园的建设，随着应用系统建设的逐步增加，需要管理、维护的数据也日益增加，同时出现了很多重复的数据；如何保证重复数据的同步、一致，避免出现冗余数据、“信息孤岛”，使数据能更好地支持应用系统框架的建设，很多高校提出了共享数据中心模式来解决上述的问题。 1 共享数据中建设意义 共享数据中心存储全局共享的数据，在保留原有业务系统不变的基础上，一方面从权威数据源所在的应用系统抽取数据，另一方面将权威数据提供给其他的应用系统，在充分利用原有各应用系统资源的基础上，实现数据有机整合、高度共享，进一步实现数据综合查询、统计分析。 2 共享数据中心建设思路 2.1 异构数据集成方法 数据中心的数据来源于各个应用系统，在数据整合，集成时，必须解决异构数据源的数据集成问题。通过异构数据的集成将应用系统抽取的数据清洗、转换，提供一致的数据交换模式，实现数据的标准化，才能为数据的综合查询、统计分析提供实时、准确的数据支持。 解决异构数据的集成有三种常用的方法[4]：多对一转换方法，数据仓库方法，中间件方法。多对一转换方法弊端较多，且工作量大，目前已经很少使用。数据仓库的方法在数据中心和数据源服务器之间增加一层，称为“数据仓库”，这种方法数据时效性差，适合结构简单的系统。中间件方法是目前使用最多的方法，中间件位于异构数据源系统和应用系统之间，向下协调各个数据源系统，向上为访问集成共享数据的应用提供统一的数据模式和数据访问的通用接口，不需要重复存储大量的数据并能保证查询数据的实效性。 在应用中，我们可以使用数据集成客户端工具，例如：企业服务总线ESB（ Enterprise Service Bus） 组件[1]，将所有对数据的处理操作，包括数据的初始化、分发、清洗转换等操作，都统一封装成服务，应用系统通过调用该服务，对共享数据中心进行操作，完成应用系统与数据中心的数据集成，从而实现系统间数据交换与同步。 2.2 中间表模式 由于我们采用中间件模式解决异构数据的整合问题，为了使整合接口不受数据集成厂商和应用系统厂商数据结构变动的影响，同时，为了确保数据交换的效率以及系统性能，可以考虑使用中间表的模式。权威数据源提供数据给数据中心时，在应用系统端的数据库中创建中间表，使用触发器监控相关的表[1]，当权威数据源数据有更新时，触发器将数据同步更新到中间表中，共享数据中心定时到应用系统的中间表中读取数据，更新数据；同时，数据中心数据库中的触发器将更新信息读取到数据中心的中间表中，推送到其他业务系统创建的中间表中，最后才更新业务系统中数据。 采用中间表的模式，数据同步过程中的源和目标都是中间表，而不对应用系统直接进行操作，确保了应用系统数据本身的完整安全和大数据量交换效率，同时，降低了由于集成厂商和应用系统厂商数据结构变动带来的修改成本；但是，这种方法要求设计人员必须对整个项目的集成环境、接口数据有更全面的考虑，对设计人员要求较高。 2.3 数据集成思路 数据中心按照数据标准，建立系统需要的数据结构，根据应用系统业务需要，创建相应的主题数据库，便于数据表的管理维护，例如教工主题库存放教职工基本信息、学习经历、职称情况、兼职信息、培训信息等教工相关的所有信息；资产主题库可以存放学校资产相关信息，包括报废资产信息、在用资产基本信息、实验室信息、建筑物信息等。 数字化校园各应用系统各自维护一部分的权威数据，例如人事系统是教职工数据的权威系统，教务系统是学生数据的权威系统；当权威数据源数据有更新时，通过数据集成客户端工具，将权威系统经过清洗转换的变更信息更新到数据中心，再由数据中心发布到需要该权威信息的其他应用系统，更新本地数据库，确保整个数字化校园系统数据的唯一性和有效性。 2.4 数据建设 完成数据中心设计，服务接口的编写后，进一步需要将各业务系统数据填充到共享数据中心，完成各主题数据库数据初始化。在初始化过程中遇到的最大问题就是缺失数据如何收集、整理，缺失数据可能包含两个方面：一是应用系统中有相关的项目，但是没有数据，另外一种是没有相应的业务系统管理；如果是第二种情况，在数据