房价大数据分析模型检验方法.docVIP

房价大数据分析模型检验方法 　　摘要：大数据分析模型构建完成后，最重要的是对模型进行检验，如何检验是困扰我们的一个难题，本文围绕房价大数据分析模型，介绍几种大数据分析模型的检验方法，供从事大数据分析研究的人员借鉴和参考。 　　关键词：大数据；分析模型；检验方法 　　中图分类号：G712 文献标志码：A 文章编号：1674-9324（2017）17-0082-02 　　一、引言 　　房价大数据分析模型通过机器学习方法构建，模型建立完成后需要对模型进行检验，房价大数据模型需要检验拟合的情况，欠拟合说明模型对数据的覆盖程度不够，过拟合无法反应模型的通用性。通过回归诊断，诊断残差情况，残差是反映真实值与假设值之间的差，希望模型残差尽量小，假设值极大地逼近真实值。通过检验可以剔除奇异数，剔除一些干扰项。 　　二、回归诊断 　　1.房价大数据分析模型。price1-data.frame（price=c（130，140，150，135，200，220，210，280，300，320，350），size=c（50，55，60，55，80，90，90，110，120，130，140），room=c（1，1，1，1，2，2，2，3，3，3，3））；tline-function（）{plot（price～room+size，data=price1，pch=16，col=red）；model1=lm（price～room+size，data=price1）；）tline（）；summary（model1）。模型??建采用最小二乘算法进行机器学习，经过训练数据训练，训练出房价大数据分析模型。通过summary（model1）函数，生成模型检验数据，检验模型拟合情况、残差数据、正态分布情况、方差检验、奇异数检验，通过模型检验数据分析模型是否需要进一步优化。 　　Residuals： 　　Min 1Q Median 3Q Max 　　-7.5556 -2.6667 -0.2222 3.5556 8.6667 　　残差最小是-7.5556，最大是8.6667，中值是-0.2222。估计的值与真实值存在一定的误差，通过求极值算法使之最小。 　　Coefficients： 　　Estimate Std. Error t value Pr（|t|） 　　（Intercept） 43.7778 5.7061 7.672 0.000256 *** 　　size 1.5111 0.2461 6.140 0.000855 *** 　　room 15.7778 10.7282 1.471 0.191782 　　Signif. codes： 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’‘ ’ 1 　　Residual standard error： 5.837 on 6 degrees of freedom 　　Multiple R-squared： 0.9949，Adjusted R-squared： 0.9932 　　F-statistic：582.3 on 2 and 6 DF， p-value： 1.346e-07 　　2.模型参数。采用最小二乘法算法，经过机器学习，训练出模型参数，构成房价大数据分析模型：房价大数据分析模型为y=aX1+bX2+C，其中：X1=size（面积），X2=room（间数），y（总价）。经过机器学习得到模型以下参数：Size=1.5111；Room=15.7778；截距= 　　43.7778；y=1.5111*X1+15.7778*X2+43.7778，此函数为房价大数据分析模型。 　　3.显著性检验。 　　Estimate Std. Error t value Pr（|t|） 　　（Intercept） 43.7778 5.7061 7.672 0.000256 *** 　　size 1.5111 0.2461 6.140 0.000855 *** 　　room 15.7778 10.7282 1.471 0.191782 　　Signif. codes： 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’‘ ’ 1 　　残差自由度为6的残差标准误差为5.837，p-value：1.346e-07，P值很小说明无自相关性，残差项之间独立。自变量与应变量相关性，截距和size显著性均为三颗星***，说明截距和size与Y相关性显著；room没有星，说明room与Y房价相关性不显著。 　　4.拟合情况分析。 　　通过数据可视化，观察房价大数据散点图，可以看出房价大数据训练样本呈直线分布。可以用线性回归进行房价大数据分析模型的构建。