选择性集成学习策略.pptVIP

GStrAP使用 计算样本之间的相似度 输出数据格式: * * 27 GStrAP使用 对样本进行聚类 输入数据格式: 执行affinity_propagation进行聚类: 输出数据格式: * * 27 GStrAP使用 获取GStrAP帮助信息: * * 27 关于GStrAP的更多信息 软件主页： Stable: /software/gstrap/ * * 27 谢谢！ * * 27 Affinity Propagation算法由Toronto大学的Frey在2007发表在Science上的一篇论文：Clustering by Passing Messages Between Data中提出。 Frey主要研究方向是信息处理和机器学习 * 线性聚类模型如左图，存在聚类决策面 非线性聚类模型如右图，不存在决策超平面 * 线性聚类模型如左图，存在聚类决策面 非线性聚类模型如右图，不存在决策超平面 * * 回顾Affinity Propagation的消息传递过程，该过程实际上由两部分构成： 1、更新r(i,k)，r(i,k)表示点k可以作为点i的代表(examplar)的程度。 2、更新a(I,k), a(i,k)表示点i选择点k作为代表的合适程度。 如公式1，更新r(i,k)时，需要收集除了点k之外，其他所有点传递到点i的availability，然后更新点k可以作为点i的代表点的合适程度，即更新有向边e(i,k)上的r(i,k) 如公式2，更新a(i,k)时，需要收集除了点i之外，其他所有点传递到点k的responsibility，然后更新点i选择点k作为代表的合适程度，即更新有向边e(k,i)上的值a(i,k) * * * * * 当样本个数N较大时(N3000)，算法需要很长的时间才能收敛。 因此提出了基于GraphLab的分布式近邻传播算法 * * * * GraphLab分布式计算框架是2010年由CMU的Select实验室提出的。 GraphLab擅长处理数据依赖强的迭代计算任务，尤其是自然图问题 基于GraphLab的Affinity Propagation实现： 1、GraphLab将与节点，如i，相连的节点均匀划分到各个每个工作机mirror上。 2、在每个工作机mirror上收集与当前节点i相连的边上的responsibility和availability得到自身选择节点k作为代表点的合适程度a(i,k)和r(i,k) 3、将2收集到的信息汇总到主工作机master上 4、master将收集到的节点i选择节点k作为代表点的合适程度值a(i,k)和r(i,k)，分发到每个工作机mirror上 5、在工作机mirror上，更新a(i,k)和r(i,k) 最后当代表点不变时，算法收敛 * 为验证的分布式近邻传播算法的扩展性能，本文在不同数据样本个数的3D Clusters数据集上与传统串行的AP算法做对比。如图 随着数据规模扩大，基于GraphLab的分布式近邻传播算法具有更快的收敛速度，体现了更好的拓展性 * 为验证的分布式近邻传播算法的聚类性能，本文在Aggregation、Flame以及Pathbased数据集上与K-means算法做对比。效果如图 对于每个数据集，采用数据集的标准聚类个数K，即在相同聚类中心个数，在同质性(homogeneity)、完整性(completeness)、V度量(V-measure)、归一化互信息(normalized mutual information)等聚类指标下，分布式近邻传播算法相比于K-means，具有更好的聚类效果。 * 为验证的分布式近邻传播算法的聚类性能，本文在Aggregation、Flame以及Pathbased数据集上与K-means算法做对比。效果如图 对于每个数据集，采用数据集的标准聚类个数K，即在相同聚类中心个数，在同质性(homogeneity)、完整性(completeness)、V度量(V-measure)、归一化互信息(normalized mutual information)等聚类指标下，分布式近邻传播算法相比于K-means，具有更好的聚类效果。 * 为验证的分布式近邻传播算法的聚类性能，本文在Aggregation、Flame以及Pathbased数据集上与K-means算法做对比。效果如图 对于每个数据集，采用数据集的标准聚类个数K，即在相同聚类中心个数，在同质性(homogeneity)、完整性(completeness)、V度量(V-measure)、归一化互信息(normalized mutual information)等聚类指标下，分布式近邻传播算法相比于K-means，具有更好的聚类效果。