大数据十大经典算法讲解精选.pptVIP

一个实验 所有实验都是在实验室搭建的Ｈａｄｏｏｐ平台 上运行的．平台有５ 台机器，都是四核Ｉｎｔｅｌ Ｃｏｒｅｉ３处理器，４ＧＢ内存．Ｈａｄｏｏｐ版本０．２０．２， ｊａｖａ版本１．６．２５．每台机器之间用千兆以太网 卡，通过交换机连接．实验所用的数据是人工数 据，维度是４８维．为了测试算法的性能，实验中构 造了分别含有10^4，10^5,10^6，2*10^6 条 记录的数据来进行测试．由于ＫＭｅａｎｓ算法中有 随机初始化中心点的操作，因此对每一组实验重 复执行２５次，取其平均执行时间作为最终实验结 果 * 算法改进后的实效 可以看出：基于ＭａｐＲｅｄｕｃｅ的ＫＭｅａｎｓ算法 的运行效率要远远高于传统的ＫＭｅａｎｓ算法 * QA / / / / / / / http://3/ / / / / / /m/ / / / / / / / / / 治疗癫痫病医院 /dx/ 癫痫医院 /dx/ 癫痫病的治疗方法 /dx/ 治疗癫痫病医院哪家好 /dx/ 全国癫痫医院排名 /dx/ 癫痫病的必威体育精装版治疗方法 /dx/ 北京癫痫医院 /dx/ 北京癫痫病专科医院 /dx/ 北京癫痫病医院 /dx/bjdxbyy/ 北京好的癫痫病医院 /dx/bjdxbyy/ 北京治疗癫痫病的医院 /dx/bjdxbyy/ 癫痫病能治好吗 /dx/dxbnzhm/ 治疗癲痫病好办法 /dx/dxbnzhm/ 治疗癫痫病最好的医院 /dx/dxzl/ 治疗癫痫病最好的药 /dx/dxzl/ 北京治疗癫痫的医院 /dx/dxzl/ 儿童癫痫的必威体育精装版治疗方法 /dx/etdx/ 北京儿童癫痫病科医院 /dx/etdx/ 癫痫治疗费用 /dx/dxbzlfy/ 癫痫治疗多少钱 /dx/dxbzlfy/ 癫痫病的手术费用 /dx/dxbzlfy/ 癫痫病会遗传吗 /dx/dxyc/ 癫痫遗传吗 /dx/dxyc/ 癫痫病的早期症状 /dx/dxzz/ 癫痫病的症状 /dx/dxzz/ 癫痫症状 /dx/dxzz/ 小儿癫痫病的早期症状 /dx/dxzz/ 儿童癫痫病的早期症状 /dx/dxzz/ 癫痫病是怎么引起的 /dx/dxbyy/ 癫痫病的发病原因 /dx/dxbyy/ 癫痫病能治愈吗 /dx/dxzy/ 癫痫病可以治愈吗 /dx/dxzy/ 北京治愈癫痫病最好的医院 /dx/dxzy/ 癫痫病人的寿命 /dx/dxsm/ 癫痫病人的寿命多长 /dx/dxsm/ 治疗癫痫病最好的药 /dx/dxbyw/ 吃什么药治癫痫最有效 /dx/dxbyw/ 癫痫药 /dx/dxbyw/ * LOGO The algorithm of Kmeans 小组成员：徐佳、张俊飞、刘志伟、孔祥玉 主要内容： Kmeans实战 聚类算法简介 Kmeans算法详解 Kmeans算法的缺陷及若干改进 Kmeans的单机实现与分布式实现策略 * 聚类算法简介 1 2 3 聚类的目标：将一组向量分成若干组，组内数据是相似的，而组间数据是有较明显差异。 与分类区别：分类与聚类最大的区别在于分类的目标事先已知，聚类也被称为无监督机器学习 聚类手段：传统聚类算法 ①划分法 ②层次方法 ③基于密度方法 ④基于网络方法 ⑤基于模型方法 * 什么是Kmeans算法？ Q1：K是什么？A1：k是聚类算法当中类的个数。 Summary：Kmeans是用均值算法把数据分成K个类的算法！ Q2：means是什么？A2：means是均值算法。 * Kmeans算法详解（1） 步骤一：取得k个初始初始中心点 * Kmeans算法详解（2） Min of three due to the EuclidDistance 步骤二：把每个点划分进相应的簇 * Kmeans算法详解（3） Min of three due to the EuclidDistance 步骤三：重新计算中心点 * Kmeans算法详解（4） 步骤四：迭代计算中心点 * Kmeans算法详解（5） 步骤五：收敛 * Kmeans算法流程 从数据中随机抽取k个点作为初始聚类的中心，由这个中心代表各个聚类 计算数据中所有的点到这k个点的距离，将点归到离其最近的聚类里 调整聚类中心，即将聚类的中心移动到聚类的几何中心（即平均值）处，也就是k-means中的mean的含义 重复第2步直到聚类的中心不再移动，此时算法收敛 最后kmeans算法时间、空间复杂度是： 时间复杂度：上限为O(tKmn)，下限为Ω（Kmn）其中，t为迭代次数，K为簇的数目，m为记录数，n为维数 空间复杂度：O((m+K)n)，其中，K为簇的数目，m为记录数，n为维数 * 决定性因素 Input