改进的Louvain算法及其在推荐领域的研究.docxVIP

改进的算法及其在推荐领域的 研究 夏玮杨鹤标 江苏大学计算机科学与通信工程学院 摘要： 文屮在深入研究社区发现算法、个性化推荐技术和耳赳集群实现技术的基础上r 提出了基于叶子時区的社区发现算法和对应的丫性化推库设计方案。采用SeX 语言.结合图计算技术在2 集群上实现该方案。与传统推荐 技术相比.基于注区发现的个性化推荐方法在卡隹荐效率以及正确度方面都得到 大幅度提升。 关键词： 社区发现?个性化推荐■叶子社区?S3 算法■ 作者简介：夏玮,男.硕士.研究方向为数据挖掘。 收稿日期：2*n-?2-?3 *1 ?b ii^^?^rn ■ $?8 ■????€—「崂七—讪 Th%—■盯 Abstract： |M|?SM * MllaFM/1 IrisWUM^1 I I ? 弘47 ■ b F “ I ■? ■■■—ffj.lifcr]—叫?* aMMi^l^b1 Im^1 se1.. 汕片. Mil Ael 贺Sf^st/ Ck^R * A ■?$!* ■mm■.I比*M? ?■[?■c?? jih?l bmmiI*4^ ir^el l?s#l ■ mii.**^1 IriseM*^1 A| ws A mwii?■ I?■■rierie1* Keyword： !■?■ wh i 4 ?wi^. ■ iUmM： 2?1?2-?) ?引言 简单的社会网络是指以人或团体为个体的集合°他们之间具有某些形式的联系。 人们可以把一个简单的社会网络抽彖成一个关系复杂的图.其屮点集表示复杂 的社会网络中的人或者团体.其中团体包括公司、学校、俱乐部、工厂等■边集 表示个体之间的联系.联系包括朋友、雇佣、同事等等。现实生活中的社会网络 往往是很复杂的.它在简单的社会网络基础上.还包含了以人或团体为个体的 集合对物品的行为信息°包括消费行为?使用行为.运输行为等等。同吋在个体 形成的社会网络屮-它又有很强的结构特征。通过社区发现算法°可以从网络屮 划分成多个结构紧凑的社区.社区包括一些个体.这些个体间联系频繁■而社 区之间联系比较稀少。通过将现实生活中的社会网络抽象成计算机能够表示的图. 之后运用社区划分算法.根据图的特性将图划分成一个个联系密切的子图怨卩 社区》。 S3算法是基于模块度的一个快速算法.用模块性对社区划分的质量进行 衡量.如果模块性的值越大.说明社区划分的质量越高。并行化后的“3 算法在分布式环境下进行多次迭代.每次迭代需要同步更新多个节点的信息. 即根据上一次迭代中邻居节点的信息来更新木次迭代中节点的信息.从而充分 发挥高并发性的优势。本文中优化的S3 算法是在并行化的S3 算法基 础上对初始边权的计算方面的重新定义。U.wfa算法初始的边权默认为Io以 电子商务网络为例.它将复杂的网络结构划分为买家集合和商品集合.买家集 合中的买家对其拥有的商品产生行为4如购买》.同时买家与买家之间也存在 联系4如好友关系》。在这种情况下.只要买家之间存在联系.那么他们之间的 联系权值为L而忽略了买家作为个体对拥有项目4如商品》偏爱程度的差异。 这样的结果只会导致社区划分结果的不准确性-从而进一步影响基于社区划分 结果产生的推荐效果。 本文着重研究了社会网络中社区发现方法.首先对社会网络的用户集合抽象成 其次对CM＞边的初始权重新计算牛成新的然后在集群中运行 社区发现算法bu*.产生社区划分结果.最后再运用相关的推荐技术.从 而形成一个高性能、高准确率的推荐.满足用户的个性化的需求。 I改进的匕3算法 叶子社区思想 本文借鉴文献I ■屮不用计算直接将叶子节点要划分到与相邻节点所在的社 区中的思想提岀基于叶子社区剪枝策略的S3 算法* 叶子社区算法思想* 41》从 过滤出叶子节点保存到卢 Mfo-uWo ＜2》从八中取出叶子节点并划归到与其相连节点所在的社区偌叶 子节点没有相邻节点.那么该叶子节点为一个单独社区》，形成一个叶子社区。 O＞压缩叶子社区成一个节点.计算叶子社区相邻节点的模块度变化并 记录最大的那个邻居节点.如果临则把最大的那个邻居节点 分配给叶子社区。 ＜4＞重复步骤O＞ ,直到更新该叶子社区中节点的So Q对每个＞ 中的节点r判断”1 ■押是否更新r如果未更新r 重复步骤＜2＞ ■ ＜4＞操作。 *＞ Mk-IM过滤出已经更新过”1 ■存■的点.形成一个新的 重复步骤41》■ ?＞直到JfcPt节点为空。 对比可见.叶子社区的“zi■算法极大地减少了重复计算.没有了之前计算 耗时较多的是最底一层的社区划分°只是少量的计算叶子社区与相邻节点的模 块度.由点及面.逐步进行社区划分。 2 Ufiudi算法边权值重新计算 传统的社会网络在运用1^3算法吋°默认两个个体之间联系的权值为I.而 忽略了用户对物品行为的影响.导致社区划分结果的不准确