大数据带给图书馆影响与挑战.docVIP

大数据带给图书馆影响与挑战 　　摘 要：大数据是近两年IT界最为流行的关键词，但对大数据的内涵与认识各大IT厂商、研究机构与科学家都有着不同的见解。在大数据时代，图书馆将在数据存储、数据挖掘、数据分析等方面面临着巨大的挑战与考验，复杂数据的处理也将成为大数据时代图书馆发展的主旋律，通过大量的非结构化数据、半结构化数据去寻找隐藏在数据背后的世界，进而为图书馆服务的模式、未来发展趋势提供分析与预测将成为大数据时代图书馆的一大主要服务内容。 　　关键词：大数据 非结构化数据 半结构化数据 数据处理 图书馆服务 数据挖掘 　　中图分类号： G250.76 文献标识码： A 文章编号： 1003-6938（2012）05-0037-04 　　“大数据”（Big data）是继Web2.0和云计算之后近两年媒体最关注的一个词，并正在引起了信息科技领域越来越多的关注与投身热潮，美国政府于今年3月29日拨款2亿美元推出的“大数据的研究和发展计划”[1]更是将大数据提升到了全球性战略发展的高度。其实，IBM、EMC、甲骨文、Microsoft等IT巨头几乎都已投入到了大数据的软硬件技术整合、大数据信息处理的技术供应研究开发之中，力求在新一轮的信息竞争环境中占据主动，并抢得战略先机与技术制高点。这些迅速发展的业界变化，也吸引了学者的关注，且因现有数据中心技术无法满足大数据需求而可能引发的IT架构重构等发展态势使得大数据有演化成为一个新型学科的趋势。中国工程院院士、中科院计算技术研究所首席科学家李国杰就指出大数据将成为信息科技的新关注点，并形成新型交叉学科：网络数据科学[2]。同时，当前知识社会中的知识信息服务中心——图书馆因信息技术的在图书馆组织建设中的知识服务、知识创造、知识组织及知识存储等方面有着广泛的应用，使得社会对图书馆的知识服务要求更为苛刻，潜在的知识挖掘、知识评价、数据分析等增值服务需求已经开始显现或已经诉诸表达于读者的日常行为之中。利用大数据技术去挖掘、识别、组织与分析隐含在读者行为中的结构化、半结构化数据信息，寻找他们的隐性诉求进而改进图书馆的服务，达到图书馆资源、服务与读者需求的双向理想控制已成???大数据时代图书馆提高服务体系的组织水平、推动行业发展与制度建设的捷径之一。本文在对大数据概述与内涵认识的基础上，重点对大数据带给图书馆的影响与挑战进行了分析。 　　1 认识大数据 　　1.1 大数据概述 　　2011年5月，全球知名咨询公司麦肯锡（Mckinsey and Company）发布了《大数据：创新、竞争和生产力的下一个前沿领域》[3]报告，首次提出了“大数据”的概念，并在报告中指出“数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”。之后，《纽约时报》[4]、《华尔街日报》[5]等对大数据进行了专栏封面介绍，但是随着大数据在发展的初期不被业界普遍了解与易从“Big data”字面引申的概念臆想，使得对于大数据的概念、内涵等存在着多种的定义与理解。如从字面理解，大数据易于被认为就是海量的数据。IT厂商、研究机构、维基百科和数据科学家等提出的概念并不一致，截至目前并未形成统一的定义。但通过分析不同概念发现，各个定义尽管在具体的表达中对大数据的范围、内涵等描述不一，但存在一个共识，即：大数据不是对数据量大小的定量描述，而是一种在种类繁多、数量庞大的多样数据中进行的快速信息获取。 　　1.2 大数据的内涵与认识 　　尽管大数据在提出以后吸引了业界的大量眼球，对其的研究也蜂拥而上，但在查阅信息的同时也发现目前大家对大数据还并未做到真正的了解，对其的内涵与理解存在偏差。基于这种现状，笔者认为有必要对如下业界还未明确的问题进行列举与分析。 　　首先，大数据是结构化数据、半结构化数据与非结构化数据的总和。据DCCI互联网数据中心在2012年7月26日举办的“Adworld2012互动营销世界”上给出的数据[6]显示：2010年，全球数据量已达1.2ZB（1ZB=1024EB，1EB相当于10亿GB），到2020年将暴增30倍达35ZB； 2011年，全球被创建和复制数据总量为1.8ZB；2013年，我们生成这样规模的信息量只需10分钟……。而在如此庞大的数据中，只有10%的数据是存储在数据库中的结构化数据，其余的则是由邮件、视频、微博、帖子、页面点击等产生的大量的半结构化数据 非结构化数据[7]。而在我们的日常生活中，智能设备、物联网、社交网站等产生的半结构化数据、非机构化数据量更是远远大于在学习、工作中产生的结构化数据。如何处理这些占据了主要份额的半结构化数据与非结构化数据也因此成为大数据的主要业务与内容，进而给数据分析与挖掘产业带来了更多的机会