浅谈数据挖掘在零售商中的应用.docVIP

浅谈数据挖掘在零售商品中的应用 摘要：关键词：数据挖掘零售商品Abstract: Along with widespread gazing, the data technology is applied rapidly. Based on the introduction、development、the concept、the goal、the brief stepthe duty and influent factor of data mining，this article through introduced the brief flow and each sub-module function in order to incarnate the treatment process of data information in the retail of goods and the KDD . Keywords: Data Mining; KDD; The Retail of goods 1 引言KDD(Knowledge Discovery in Database)这个术语，随后在1991、1993、1994年都举行了KDD专题讨论会，集中讨论数据统计、海量数据分析算法、知识表示、知识运用等问题。KDD国际学术大会研究重点逐渐从发现方法转向系统应用，并且注重多种发现策略和技术的集成，以及多种学科之间的相互渗透，数据挖掘和知识发现成为当前计算机科学界的一大热点。1998年在美国纽约举行的第四届知识发现与数据挖掘国际学术会议上有30多家软件公司展示了数据挖掘软件产品，不少软件已经在北美和欧洲的国家得到应用。 META Group曾做出这样的评论：“全球重要的企业、组织会发现，到21世纪数据挖掘技术将是商业成功与否的至关重要的影响因素”。此外，在Internet上还有不少KDD电子出版物，其中以半月刊Knowledge Discovery Nuggets最为权威，另一份在线周刊为DS(决策支持)，1997年开始出版。数据挖掘是数据库和信息决策领域的最前沿的研究方向之一，在我国已经开始进行数据挖掘技术的研究，经过十多年的工作，数据挖掘技术的研究与应用已取得了很大的成果，然而，我们还面临着许多问题： （1） 各种数据挖掘问题及挖掘方法基于不同的模型和技术，彼此互相孤立，联系很少；（2） 缺少简明精确的问题描述方法，挖掘的语义通常是由实现方法决定的； （3） 数据挖掘系统仅提供孤立的知识发现功能，难于嵌入大型应用； （4） 数据挖掘引擎与数据库系统是松散耦合，它没有提供应用独立的操作原语。 到目前为止，数据挖掘行业是高度分散的，公司和研究机构独立开发各自的数据挖掘系统和平台，没有形成开放性的标准；同时数据挖掘本身是一门多学科综合跨度非常大的技术，这两点是上述问题存在的根本原因；这些问题已经引起了国内外学术界的广泛关注，以至于导致了数据挖掘研究的蓬勃发展。 2.2 数据挖掘的基本概念 数据挖掘[1]是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的，人们事先不知道的，但又是潜在有用的信息和知识的过程。随着信息技术的高速发展，人们积累的数据量急剧增长，动辄以TB计，如何从海量的数据中提取有用的知识成为当务之急。数据挖掘就是为顺应这种需要应运而生发展起来的数据处理技术，是知识发现的关键步骤[2]。 我们从探寻知识发现和数据挖掘的关系入手来理解数据挖掘。 数据挖掘与知识发现是存在交叉的两个概念。对这两个概念之间的关系，流行有两种观点：一种观点认为：数据挖掘与知识发现是等同的概念，只不过在不同的领域叫法不同而已。在科研领域，知识发现使用较多，在工程应用领域多称之为数据挖掘。另一种观点认为数据挖掘是知识发现的一个阶段，而且是核心阶段。该观点给出的定义是：知识发现，就是从大型数据库中的数据中提取人们感兴趣的知识。这些知识是隐含的、事先未知的、潜在有用的信息。本文更倾向于第二种观点。本文从知识产生的过程这一角度看待知识发现和数据挖掘，得出以下结论： 知识发现是把低级别的数据转化为高级别数据的整个过程。在工程应用中，根据不同的使用阶段和价值，又细分为信息和知识。信息可被理解为有特殊意义的数据，知识则表达为在特定应用领域，通过使用有价值的信息而在人脑中形成具有概括和总结特性的认识。知识可表示为概念（concepts）、规则（rules）、规律（regulations）、模式（patterns）等形式[3]。从知识发现的整个过程来看，数据挖掘是知识发现实现从数据到信息和知识转变的关键一步。数据挖掘是从大量数据中提取可信的、新颖的、有效的模式的高级处理过程（如图1）。 2.3数据挖掘的目的 数据挖掘并不专用于特定领域，它需要凝结各种技