文本挖掘和Web挖掘.pptVIP

文本挖掘与Web挖掘 文本挖掘的基本概念 文本挖掘时从大量数据中提取以前未知的、有用的、可理解的、可操作的知识的过程。它除了从文本中提取关键字外，还要提取事实、作者的意图、期望和主张等。这些知识对许多应用如市场营销、趋势分析等都很有用。 相对于数据挖掘，文本挖掘的对象是半结构化或非结构化的。 文本挖掘的主要任务 短语提取。 概念提取 可视化显示和导航 文本挖掘和数据挖掘的区别 数据挖掘 数字表示的数据 关系数据库 预测以后 决策树、神经网络等 1994年起 文本挖掘 无结构或半结构 开放的文本 提取概念 提取短语，关联分析、聚类、分类 2000年起 文本特征的表示 文本特征的提取 一般特征：人名、组织名 数字特征：日期、时间、货币、数字 文本挖掘 关键字检索 相似检索 词语关联分析 文本聚类和分类 自然语言处理 关联分析 首先对文本进行词根处理，去除非用词等预处理，然后调用关联挖掘算法。在文本数据库中，每一个文本被视为一个事务 ，文本中的关键词组可视为事务中的一组事务项。这样文本数据库中关键词关联挖掘问题就变成事务数据库中事务项的关联挖掘。 文本聚类 层次聚类法 平面划分法 文本分类 用信息检索技术提取关键词和词组 生成关键词和词组的概念层次 关联挖掘用于发现关联词。区分一类文本与另一类文本。 Web挖掘简介 信息庞大 信息复杂 信息是动态的 信息使用者复杂 信息中的垃圾非常多 Web挖掘分类 * 每个文本d表示为一个规范化的特征向量: V(d)=(t1,w1(d);…;ti,wi(d);…;tn,wn(d)) 其中 ti为词条项，wi(d)为ti在d中的权值。Wi(d)一般被定义为ti在d中出现频率tf(d)的函数。即wi(d)=?(tf(d)). 1.布尔函数 ?={ 2.平方根函数 ?= 10 关键词 相似检索 词语关联分析 文本聚类 文本分类 自然语言处理 *