大数据环境下面向知识服务的数据清洗研究.pdfVIP

囤素占．}毛缸 · 专 题 · 大数据环境下面向知识服务的数据清洗研究 蒋 勋 刘喜文 ‘ (1．南京大学信息管理学院 江苏南京 210039) (2．无锡城市职业技术学院电子信息T程系 江苏无锡 214153) ， 摘 要：大数据既丰富 了知识的内涵，也增添了知识显式化的障碍。对大数据进行数据清洗是最终获取知识的有效途 径。由大数据的特点对知识服务重新提 出要 求，不仅要提高数据的使 用价值，更要使数据严密的关联 ，这些要求一方面 通过数据清洗满足数据质量的提高，另一方面容忍非清洁数据 实现知识服务效率与水平的同步提高。文章给 出了数据 清洗的基本框架模型及其局限，从而进一步提 出非清洁数据的清洁度的机制 关键词 ：大数据 知识服务 知识库 数据清洗 非清洁数据 清洁度 中图分类号：G302；TP391 文献标识码：A 文章编号：1003—6938(2013)05—0016—06 KnowledgeService-orientedDataCleaninginBigData AbstractBigdatanotonlyenrichtheknowledgeconnotation，butalso increasethebarriersofexplicitknowledge．Itisan effectivewaytoacquireknowledgebydatacleaningofbigdatafinally．Accordingtothecharacteristicsofbigdata，knowl edgeserviceneedshigherrequirements．Besidethedatausebeingimprovedtoahighvalue，thedataassociationwasmade closely．Inthefirstplace，thedataquality isimprovedbydatacleaning．Nextinimportance，thesynchronousimprovement ofknowledgeservicequalityandefficiencyareimplementedbyaffordingdirtydata．A basicmodelofdatacleaningandthe limitationsisintroduced，andthen，thedataqualitymechanism fordirtydataispresented． Keywords bigdata；knowledgeservice；knowledgebase；datacleaning；dirtydata；dataquality 年该产值将达483亿 。2012年 ，美国政府拨款2亿美元启 1 引言 动 “大数据研究和发展倡议”计划。IBM、微软、Google等同 随着以微博 、社交网络等为代表的新型信息发布方 外 IT巨头早 已嗅到了 “大数据时代”的商机 ，这些国际巨 式 的不断涌现 ，人类社会的数据种类和规模正 以前所未 头借助 自己拥有领先技术和丰富资源，以及稳定的大客 有 的速度在不断地增加和累积，大数据时代正式到来 ]。 户群 ．实力雄厚，率先涉足。 在大数据环境下探讨知识服务 ，不再局限在传统的文献 我国互联网数据 中心(IDC)对中国大数据技术和服 服务 ．而必须 同步数据的爆发式增长与社会化趋势 ，将视 务市场 2012～2016年的预测与分析指 ：该市场规模将 角瞄准大量的碎片化信息 、用户行为 、用户关系 ，并将焦 会从 2011年 的7760万美元增长到 2016年的6．17亿美 点汇聚在 由此产生的实时数据 、非结构化数据及机器数 元，未来 5年的复合增长率达 51．4％，市场规模增长近 7 据。知识服务的内涵 ，将随着大数据的驱动而深刻发生变 倍。在国内，大数据正在引起越来越多的企业关注。不但 化 ，它将帮助一个组织更好地调用 内部、外部以及公共信