专业市场指数与淘宝指数的挖掘及其对宏观经济的预警.pdfVIP

专业市场指数与淘宝指数的挖掘及其 对宏观经济的预警 ——基于商业数据的探索和检验 浙江省统计局 黄洪琳、李冠宇、吴珺 目录 一、问题的提出及研究思路 （一）问题的提出 （二）研究综述及研究思路 二、数据的来源及优势 （一）网页数据有哪些信誉好的足球投注网站和抓取 （二）数据优势与质量 （三）应用软件 三、数据预处理与可视化探索 （一）数据预处理 1．KNN 算法缺失值处理 2 ．数据转换 3 ．同度量处理 （二）变量的说明 1．被解释变量的选择 2 ．解释变量 （三）主要指标的可视化探索 1．变量描述 2. 平稳性检验 3. 变量的分布和正态检验 （四）数据匹配度和相关关系探索 1. 相关关系探索 2. 灰色关联分析 四、专业市场指数和网购指数对CPI 的预警模型探索 （一）基于偏最小二乘回归的拟合 1．构建思想与理论形式 2 ．6 折交叉验证结果 （1）模型的拟合结果 （2 ）基于NMSE 判断偏最小二乘回归的预测性能 （二）基于支持向量机（SVM）的非线性模型拟合 1．建模思想及理论形式 2 ．核函数与参数选择 3 ．实验结果 （三）基于集成算法（Bagging、Boost、随机森林）的拟合 1．几种集成算法的思路 2 ．参数的选择和优化 3. 6 折交叉验证实验结果 （四）五种模型的预测性能比较 五、基于SVM 和随机森林算法对浙江CPI 预测结果（外推） 六、结论与建议 七、创新点及改进方向 （一）创新点 （二）改进方向 1 专业市场指数与淘宝指数的挖掘及其对宏观经济的预警 ——基于商业数据的探索和检验 摘要：专业市场交易已随着时间的推移形成大量数据。为探索这些数据的经济价值，运 用R 语言编程从相关网页抓取义乌小商品、柯桥纺织、余姚中塑等专业市场指数和淘宝网购 指数，采用多种数据挖掘算法建模，对各变量序列进行6 折交叉训练和测试，选择最佳模型 对CPI 进行预测和检验。分析发现，专业市场指数和网购指数与浙江CPI 有很高的关联度， 各指数能在较小误差内实现宏观经济指标的先行检测。在偏最小二乘回归、支持向量机、装 袋、提升树、随机森林等5 种算法中，随机森林和支持向量机表现最佳，预测误差最小。基 于最佳模型外推CPI，认为2014 年浙江CPI 总体在低位运行，通胀压力不大，经济景气度 不高，需调整宏观政策，扩大内需，扶持民营企业，促进专业市场优化升级。 关键词：专业市场指数 数据挖掘偏最小二乘回归支持向量机集成算法 随机森林 一、问题的提出及研究思路 （一）问题的提出 随着中国市场与国际市场的接轨和渗透，中国各类市场指数应运而生。这些 旨在掌控世界商品 “定价权”和“话语权”的指数已引起国际社会关注。浙江是 专业市场大省，顺理成章地成了“指数”生产大省。从 2006 年开始，“义乌小 商品指数”、“塑料价格指数”、“柯桥纺织指数”、“中国经编指数”相继诞生；从 2008 年开始，“阿里（淘宝）价格指数”、“淘宝有哪些信誉好的足球投注网站与成交指数”等陆续亮相。 这一系列指数的发布，成为浙江经济乃至中国经济影响世界的一个缩影。有学者 指出，“浙江指数体系”不仅可以反映市场周期的波动幅度，还能预测经济周期 [1] 的拐点和变化趋势 。义乌指数作为全球小商品的“道琼斯指数”，全面反映了 [2] 中国小商品市场的价格走势和景气状态 。我们不禁思考，这些专业市场指数和 网购指数是否可靠？是否具备经济分析先行检测价值？与政府统计部门的 CPI 有什么关系？是否能预测宏观经济走势？无疑，关注浙江指数并运用数据挖掘技 术对其进行探索，使其更好地应用于政府统计和宏观经济很有必要。 （二）研究综述及研究思路 查阅文献，近年来有关学者已开始关注浙江指数，但研究成果不多。有专家 研究浙江专业市场指数的特征与优化（王文科等，2010 ），或研究义乌指数的波 动及其影响因素（曹荣庆，2009 ），网购指数与CPI 的关系（李玲玲