web数据挖掘__12复习选编.ppt

第一章 概述;网络数据的特征;3. 异构的信息;4. 绝大部分信息是相连接的;5. 噪音的存在;6. 提供服务;7. 动态性;8. 虚拟社会;Web挖掘的基础 – 数据挖掘;数据挖掘功能;Web挖掘的分类;Web结构挖掘;Web内容挖掘;Web使用挖掘;;Road map;什么是关联挖掘?;关联规则：基本概念;规则的支持度;规则的可信度;阈值;频繁项集;关联规则;规则度量：支持度与可信度;兴趣度;分析;Step 1: Mining all frequent itemsets;Apriori基本方法;Apriori性质;Example – Finding frequent itemsets;Step 2: Generating rules from frequent itemsets;;Road Map;Supervised vs. unsupervised Learning;Supervised learning process: two steps;Introduction;Algorithm for decision tree learning;信息论在决策树中的应用-属性选择;决策树的学习过程;决策树的学习过程;举例;属性 Outlook Temperature Humidity Windy 类;属性 Outlook Temperature Humidity Windy 类;在决策树方法中，所要做的工作就是构造决策树将数据进行分类。因初始时属于P类和N类的实例个数均为12，故初始熵值为：;(2) 若选择Temp作为测试属性，其条件熵为：;(4) 若选择Windy作为测试属性，其条件熵为：;Humidity;结论;避免过学习、过度拟合;导致过度拟合的原因;Avoid overfitting in classification;分类的评价准则;An example;分类的评价准则;;Na?ve Bayes Classifier;Na?ve Bayes Classifier;Conditional independence assumption ;An example;An Example (cont …);On na?ve Bayesian classifier;Introduction;The hyperplane;Maximal margin hyperplane;Linear SVM: separable case;SVM—Linearly Inseparable;Kernel functions;SVM方法的特点;近邻分类方法;最近邻法;Example: k=6 (6NN);kNNAlgorithm;K-effect;Parameter selection;;Road map;主要聚类方法的分类;K-means algorithm;The K-Means Algorithm - Example [1];The K-Means Algorithm - Example [2];The K-Means Algorithm - Example [3];The K-Means Algorithm - Example [4];Strengths of k-means ;Weaknesses of k-means;层次聚类;更多关于层次聚类方法;Chapter 5: 数据的预处理;为什么要预处理数据;空缺值;如何处理空缺值;噪声数据;如何处理噪声数据;Simple Discretization Methods: Binning;Simple Discretization Methods: Binning;数据平滑的分箱方法;平滑方法;聚类消除噪声;回归消除噪音;数据集成;数据变换;数据变换;数据归约;逐步向前选择;逐步向后删除;数据压缩;数值归约;An introduction;信息检索定义;信息检索系统;信息检索的应用;;Information retrieval models;布尔模型描述;优点;问题;向量空间模型;模型的描述;模型中的问题;词项的权重;TF-IDF term weighting scheme;余弦(Cosine)相似度度量;向量空间优点;不足;Statistical language model（简单语言模型）;基于语言模型的IR模型的概念;模型描述;语言模型;概率模型的理论;概率模型小结;;Roadmap ;文本处理主要方法;Stemming;*;停用词处理 -- 文本词频分布;文本的特点;Stopwords removal;建立索引的目的;An example;一般的倒排索引;建立