推荐系统技术预研报告.docVIP

Mahout技术 预研报告 版本：V1.0 文 档 编 号 保 密 等 级 作 者 最后修改日期 审 核 人 最后审批日期 批 准 人 最后批准日期 修订记录 日期 版本 修订说明 修订人 2011-5-31 V1.0 创建 目 录 1 简介 2 1.1 编写目的 2 1.2 背景 2 1.2.1 任务的提出 2 1.2.2 使用者 2 1.3 参考资料 2 2 协同过滤机制分析 3 2.1 基于协同过滤的推荐机制基本原理 3 2.2 基于用户的协同过滤推荐 3 2.3 基于项目的协同过滤推荐 4 2.4 Slope One协同过滤推荐 5 2.5 协同过滤各种算法比较 7 3 相似度的计算 7 3.1 皮尔逊相关系数（Pearson Correlation Coefficient） 7 3.2 欧几里德距离（Euclidean Distance） 8 3.3 Cosine 相似度（Cosine Similarity） 8 3.4 修正的余弦相似性 9 3.5 Spearman秩相关系数--Spearman Correlation 9 3.6 Tanimoto 系数（Tanimoto Coefficient） 10 3.7 对数似然相似度 10 3.8 曼哈顿距离 10 4 降维算法分析 11 4.1 主成分分析 11 4.2 奇异值分解 11 5 关联规则挖掘算法分析 13 5.1 概要 13 5.2 并行FP Growth算法（Parallel FP Growth Algorithm） 13 6 聚类算法分析 14 6.1 概要 14 6.2 各种聚类算法 14 6.2.1 K均值 （K-means） 14 6.2.2 模糊K均值（Fuzzy K-means） 14 6.2.3 Canopy聚类（Canopy Clustering） 15 6.2.4 均值漂移聚类(Mean Shift Clustering) 15 6.2.5 EM聚类(Expectation Maximization) 16 6.2.6 狄利克雷聚类算法 17 7 分类算法分析 17 7.1 概要 17 7.2 各种分类算法 17 7.2.1 逻辑回归算法 17 7.2.2 贝叶斯算法 18 7.2.3 SVM（支持向量机） 19 7.2.4 神经网络 20 7.2.5 HMM (隐马尔科夫模型) 21 7.2.6 决策树 21 简介 编写目的 通过对Apache Mahout开源框架和推荐系统相关技术的学习，归纳出推荐系统领域目前的主要相关算法以及这些算法的应用场景及优缺点，为后续“金融产品推荐”产品提供理论支持和技术储备。 背景 任务的提出 。。。。。。。。 使用者 金融产品推荐项目组开发者。 参考资料 参考资料主要来源于互联网和相关算法的论文。 协同过滤机制分析 基于协同过滤的推荐机制基本原理 协同过滤是利用集体智慧的一个典型方法。协同过滤的核心思想是我们一般更倾向于从口味比较类似的朋友那里得到推荐。 协同过滤一般是在海量的用户中发掘出一小部分和你品位比较类似的，在协同过滤中，这些用户成为邻居，然后根据他们喜欢的其他东西组织成一个排序的目录作为推荐给你。 要实现协同过滤，需要以下几个步骤 ： 收集用户偏好 找到相似的用户或物品 （计算相似度） 计算推荐列表 下面介绍mahout实现的的三种协同过滤推荐机制。 基于用户的协同过滤推荐 基本原理说明 基于用户的协同过滤推荐的基本原理是，根据所有用户对物品或者信息的偏好，发现与当前用户口味和偏好相似的“邻居”用户群，在一般的应用中是采用计算“K- 邻居”的算法；然后，基于这 K 个邻居的历史偏好信息，为当前用户进行推荐。下图给出了原理图。 基于用户的协同过滤推荐机制的基本原理 上图示意出基于用户的协同过滤推荐机制的基本原理，假设用户A喜欢物品A，物品C，用户B喜欢物品B，用户C喜欢物品A ，物品C和物品D；从这些用户的历史喜好信息中，我们可以发现用户A和用户C的口味和偏好是比较类似的，同时用户C还喜欢物品D，那么我们可以推断用户A可能也喜欢物品 D，因此可以将物品D推荐给用户A。 基于用户的协同过滤推荐机制和基于人口统计学的推荐机制都是计算用户的相似度，并基于“邻居”用户群计算推荐，但它们所不同的是如何计算用户的相似度，基于人口统计学的机制只考虑用户本身的特征，而基于用户的协同过滤机制可是在用户的历史偏好的数据上计算用户的相似度，它的基本假设是，喜欢类似物品的用户可能有相同或者相似的口味和偏好。 基于mahout实现基于用户的协同过滤推荐 给出示例代码如下： DataModel model =