03机器学习 线性模型.pdf

03线性模型 （重要） 3.1基本形式 问题描述 函数形式 向量形式 3.2线性回归 问题描述 一元线性回归 多元线性回归 对数线性回归log-linear regression 广义线性模型 3.3对数几率回归(逻辑回归)logistic regression logit regression 问题描述 原理补充 二分类任务 优点 求解 代码示例：机器学习实战第四章最后 3.4线性判别分析 基本思想 画图示例 问题描述 目标函数 目标函数求解 3.5多分类学习 拆解法 3.6类别不平衡问题 不同类别样例数的影响 类别不平衡class-imbalance 处理方法 3.7补充：梯度下降法 基本思想 批量梯度下降Batch Gradient Descent 随机梯度下降Stochastic Gradient Descent 代码实现示例 学习率问题 局部最优与全局最优 其他算法梯度下降的算法在深度学习的时候再详细介绍 04决策树 4.1基本流程 问题举例 关键概念参考：StatQuest 4.2划分选择 4.2.1信息增益：决策树ID3训练算法 4.2.2增益率 ： 决策树C4.5训练算法 4.2.3基尼指数 ： 决策树CA RT训练算法Classification and Regression 4.3剪枝处理 概述 4.3.1预剪枝prepruning ：贪心：能剪的就剪 4.3.2后剪枝post-pruning ：能不剪就不剪 补充：回归树剪枝方法 4.4连续与缺失值 4.4.1连续值处理 4.4.2缺失值处理 4.5多变量决策树 普通决策树 多变量决策树：对属性的线性组合进行测试 4.6阅读资料 决策树有很多算法 泛化能力影响 06支持向量机 理解要干啥 Maximal margin classifier Support Vector Classifier 二者局限 Support Vector Machines 6.1间隔与支持向量 6.2对偶问题 拉格朗日函数原理 原始问题 拉格朗日函数 KKT条件 求导消元 变换结果 函数求解 6.3核函数 原理 公式 核技巧 常用核函数 Polynomial Kernel多项式 Radial Kernel Gassian RBF 6.4软间隔与正则化 6. 5支持向量回归 6.6核方法 6.7阅读材料 07贝叶斯分类器 7.1贝叶斯决策论 马同学：怎样用非数学语言讲解贝叶斯定理 （Bayes theorem）？ 先看个例子：知乎忆臻：带你理解朴素贝叶斯分类算法 然后说书上这个公式 7.2极大似然估计 马同学：如何通俗地理解“最大似然估计法”? 7.3朴素贝叶斯估计 公式 数据 目标 P （