基于GraphLab的分布式近邻传播算法2.pptVIP

基于GraphLab的分布式近邻传播算法 论文作者：陈文强 2 基于GraphLab的实现 目录 3 实验结果与分析 1 Affinity Propagation 算法背景 Affinity Propagation 算法 Affinity Propagation 算法 时间复杂度: 算法复杂度高 O(N*N*logN)，相比下，K-Means只有O(N*K)的复杂度 当N比较大时(N3000)，算法往往需要很长时间才能收敛 基于GraphLab的实现 基于GraphLab的实现 Machine 2 Machine 1 Machine 4 Machine 3 Σ1 Σ2 Σ3 Σ4 + + + Y Y Y Y Y’ Σ Y’ Y’ Y’ 从邻接节点与 当前节点相连的边 收集availability， a(i,k`)以及 responsibility,r(i`,k) 更新与邻接节点 相连的边上的 a(i,k)以及r(i,k) * Master Mirror Mirror Mirror 实验结果与分析 本文的实验运行于3.10GHz的4核处理器上,内存为8GB. 采用流形学习工具MANI合成的数据3D Clusters 、Aggregation、Flame以及Pathbased作为数据集 实验结果与分析 本文的实验运行于3.10GHz的4核处理器上,内存为8GB. 采用流形学习工具MANI合成的数据3D Clusters 、Aggregation、Flame以及Pathbased作为数据集 实验结果与分析 实验结果与分析 关于GStrAP的更多信息 软件主页： /software/gstrap/ 谢谢！ 论文作者：陈文强 电子邮箱：irwenqiang@ 联系电话：189 5920 0475 Affinity Propagation 采用相似度矩阵表示样本之间的相似度。初始时认为所有样本都是潜在的聚类中心，通过消息传递逐步确定聚类中心，如图1.(具体计算过程在后面的基于GraphLab实现的时候介绍)。 AP的有点包括: 1、AP算法不需要指定聚类K(与K-means对比)或者其他描述聚类个数的参数, 只需要指定每个样本作为聚类中心的perference,perferene越小表明样本作为聚类中心的可能性越小，如图2 2、AP的聚类中心是原始数据中确切存在的一个数据点（examplar），而不是由多个数据点求平均而得到的聚类中心(如K-Means)。 3、不需要进行随机选取初值步骤（在K-means中初始值决定了算法的聚类时间和聚类效果），多次执行AP，结果一致。 图2: 4、AP的相似度矩阵允许数据呈非欧拉分布，也允许非常规的点-点度量方法，通过选取合适的相似度度量方式可以做非线性聚类 * 当样本个数N较大时(N3000)，算法需要很长的时间才能收敛。 因此提出了基于GraphLab的分布式近邻传播算法 * 回顾Affinity Propagation的消息传递过程，该过程实际上由两部分构成： 1、更新r(i,k)，r(i,k)表示点k可以作为点i的代表(examplar)的程度。 2、更新a(I,k), a(i,k)表示点i选择点k作为代表的合适程度。 如公式1，更新r(i,k)时，需要收集除了点k之外，其他所有点传递到点i的availability，然后更新点k可以作为点i的代表点的合适程度，即更新有向边e(i,k)上的r(i,k) 如公式2，更新a(i,k)时，需要收集除了点i之外，其他所有点传递到点k的responsibility，然后更新点i选择点k作为代表的合适程度，即更新有向边e(k,i)上的值a(i,k) * GraphLab分布式计算框架是2010年由CMU的Select实验室提出的。 GraphLab擅长处理数据依赖强的迭代计算任务，尤其是自然图问题 基于GraphLab的Affinity Propagation实现： 1、GraphLab将与节点，如i，相连的节点均匀划分到各个每个工作机mirror上。 2、在每个工作机mirror上收集与当前节点i相连的边上的responsibility和availability得到自身选择节点k作为代表点的合适程度a(i,k)和r(i,k) 3、将2收集到的信息汇总到主工作机master上 4、master将收集到的节点i选择节点k作为代表点的合适程度值a(i,k)和r(i,k)，分发到每个工作机mirror上 5、在工作机mirror上，更新a(i,k)和r(i,k) 最后当代表点不变时，算法收敛 * 为验证的分布式近邻传播算法的扩展性能，本文在不同数据