基干大数据图书馆异构数据整合机制探讨.docVIP

基于大数据的图书馆异构数据整合机制研究 　　〔摘要〕数据整合对提高图书馆的数据处理与共享能力，进而提升数据有效性、可用性和优化决策等能力有重要意义。本文提出了一种基于大数据的图书馆异构数据整合机制，该机制可提高图书馆大数据的利用效率，并有助于实现图书馆的信息资源整合 〔关键词〕大数据；图书馆；异构数据；整合机制 DOI：10.3969/j.issn.1008-0821.2015.08.010 〔中图分类号〕G25076〔文献标识码〕A〔文章编号〕1008-0821（2015）08-0047-04 大数据时代已经到来。图书馆通过对所采集的海量数据进行存储和分析，实现了对读者阅读行为、情绪、习惯和服务需求的精确测量，制定出符合读者服务需求、兴趣和阅读习惯的服务策略、产品，能够为读者提供基于大数据的个性化阅读服务。目前，图书馆数据环境已具备海量（Volume）、多样（Variety）、快速处理（Velocity）、高价值（Value）的大数据4V特征。随着数据总量和数据结构复杂度的快速增长，如何通过数据整合来消除图书馆大数据资源不同来源、不同结构和不同定义格式等异构性，提高数据的价值密度、可用性、可控性、共享性和使用经济性，已经成为图书馆应重点关注的问题 1图书馆大数据整合的需求与挑战 11大数据整合可有效弱化图书馆IT系统的多样性 首先，随着物联网、云计算、移动互联网、传感器和多媒体阅读终端等技术的发展，图书馆数据中心的管理系统、服务系统和用户阅读终端设备，呈现出多平台架构、多接口类型、多数据模式和多标准规范的特点，导致信息系统之间相互独立和信息孤岛呈现多维度特性。同时，大数据资源存在过度冗余存储和数据不一致现象，使数据难以访问、查询、处理和分析，不能满足图书馆大数据阅读服务的分析和决策需求。其次，众多的图书馆用户服务系统分别构建于不同的时期，系统的结构模式、技术标准和管理方法差异性大。且不同系统之间存在集成度低、互联性差、运行平台不统一和信息管理分散的特点，严重影响了大数据的完整性、精确性、可用性和实时性。第三，图书馆复杂、多样的管理与服务系统，大幅增加了大数据资源的采集、存储、挖掘、整合、分析和决策应用难度 12大数据整合是图书馆提高云服务效率的保证 通过自建私有云或租赁云服务商服务的方式，为读者提供安全、高效、经济、快捷的云阅读服务，已成为图书馆云服务平台构建的主要模式 云计算环境下，图书馆通过和云服务商签署云服务租赁协议的方式，由云服务商借助网络以按需、易扩展的模式，为图书馆提供所需的云计算服务，图书馆根据服务的内容、质量和云资源使用量支付相应的费用。随着云计算技术在图书馆管理与服务应用中的深入，云服务成本在图书馆运营总成本占据的比例将不断上升。因此，如何通过数据整合有效降低大数据资源的数据总量和提高大数据价值密度，已成为关系如何降低图书馆云计算服务总成本和提升云服务收益率的关键。其次，在减少大数据存储冗余度和数据总量的前提下，图书馆还可通过数据整合来增强大数据的关联性和因果性，以此降低大数据分析过程对云计算平台性能、云资源和应用实时性的需求。第三，大数据整合也是将云计算技术与读者需求相整合，将图书馆大数据资源变成大服务资源的重要途径 13数据整合是图书馆大数据分析与决策可靠的保证伴随大数据技术的发展，图书馆对读者阅读行为、阅读模式、社会关系和阅读活动反馈信息的采集将更加广泛与深入，将导致大数据的来源和类型复杂化，数据总量也呈现级数激增和价值密度大幅下降的趋势。同时，大数据的分析过程也会对图书馆技术人员的水平和数据处理平台性能提出更高要求。因此，如何通过对大数据资源的清洗、集成和整合，不断增强图书馆大数据资源的价值密度、可用性、可控性和应用经济性，已成为提升图书馆大数据平台运营效率和降低平台运行成本的关键。其次，对大数据资源的有效整合，也是关系图书馆完全挖掘、开发大数据价值，精确识别读者服务需求、个性化特征、阅读习惯，准确定位读者大数据服务场景，以及优化配置图书馆大数据服务系统资源的重要因素。第三，图书馆大数据资源具有海量、多源、异构和多类型的特点，而大数据整合过程是降低数据复杂度、消除数据异构性、提取数据价值和发现数据关联的有效途径 14数据整合可消除大数据的分布异构性 为了分担用户服务负载和保证读者阅读活动的效率、质量、时效性，图书馆通常会根据读者群分布状况，在世界不同地域建设若干个子数据中心，依据地理位置就近的原则为读者提供大数据阅读服务。在读者大数据资源的采集中，位于不同地理位置的子数据中心在对大数据的采集、处理、分析和决策中，会由于数据具有较强的地域性面导致大数据的价值、应用效率下降。因此，如何实现位于世界不同地理位置的子数据中心数据资源的整合，是