优先关联的web日志数据逼真生成算法-计算机系统应用.pdfVIP

计 算 机 系 统 应 用 2017 年 第 26 卷 第 3 期 ① 优先关联的 Web 日志数据逼真生成算法 丘志鹏, 肖如良, 张 锐 (福建师范大学 软件学院, 福州 350117) (福建省公共服务大数据挖掘与应用工程研究中心, 福州 350117) 摘 要: 字段关联的构建方法是 Web 数据逼真生成中的困难问题. 提出一种基于 MIC 的字段优先关联的Web 数 据逼真生成算法. 该算法与现有的方法完全不同: 首先, 提取真实Web 日志数据集中相应字段间的MIC 系数; 然 后, 结合字段的重尾特性, 采用 SE 分布对字段的重尾性进行建模; 最后, 建立字段关联模型, 模拟出真实数据集 中的字段间依赖性, 从而逼真生成目标数据集. 实验表明, 生成的数据集能够保持合理的字段间的均衡性以及节 点间的相似性. 关键词: 字段关联; 数据生成; MIC 系数; 重尾 Simulate Generating Web Log Algorithm Using Fields’ Priority Relevance QIU Zhi-Peng, XIAO Ru-Liang, ZHANG Rui (Faculty of Software, Fujian Normal University, Fuzhou 350117, China) (Fujian Provincial Engineering Research Center of Public Service Big Data Analysis and Application, Fuzhou 350117, China) Abstract: The construction method of field relevance is a difficult problem in the Web data generation. A new algorithm for fields’ priority relevance based on maximal information coefficient is proposed. The algorithm is completely different from the existing method. Firstly, the maximal information coefficient between the appropriate fields needs to be extracted from real Web log data. Then, combined with the field of heavy tailed characteristics, the field is modeled by stretched exponential distribution. Finally, real data’s field dependence is simulated by the fields’ relevance model, so as to generate a realistic target data set. The experiments show that the generated data sets can maintain a reasonable balance between the fields and the similarity between the nodes. Key words: fields’ relevance; data generation; maximal information coefficient; heavy tail 合理分析 Web 日志数据的字段内容, 有助于对其 现有的数据生成算法的研究主要分为时间字段相 领域系统的构建及测试, 然而 Web 日志数据通常达到 关性质的研究与非时间字段相关性质的研究两个方面. TB 甚至 PB 级别, 极其耗费网络资源, 并且数据中用 前者主要应用于网络流量预测、时