gbdt回归-city2数学建模竞赛.docxVIP

分析流程

数据源：

Appendix2-HohhotCity.xlsx

算法配置：

算法：梯度提升树(GBDT)回归

分析结果：

梯度提升树(GBDT)回归基于MSE、RMSE、MAE、MAPE、R2指标对模型进行评价，请看详细结论。

分析步骤

1.通过训练集数据来建立梯度提升树(GBDT)回归模型。

2.通过建立的梯度提升树(GBDT)来计算特征重要性。

3.将建立的梯度提升树(GBDT)回归模型应用到训练、测试数据，得到模型评估结果。

4.由于梯度提升树(GBDT)具有随机性，每次运算的结果不一样，若保存本次训练模型，后续可以直接上传数据代入到本次训练模型进行计算预测。

5.注：梯度提升树(GBDT)无法像传统模型一样得到确定的方程，通常通过测试数据预测精度来对模型进行评价。

详细结论

输出结果1：模型参数

参数名

参数值

训练用时

10.329s

数据切分

0.8

数据洗牌

是

交叉验证

10

损失函数

friedman_mse

节点分裂评价准则

friedman_mse

基学习器数量

100

学习率

0.1

无放回采样比例

1

划分时考虑的最大特征比例

None

内部节点分裂的最小样本数

2

叶子节点的最小样本数

1

叶子节点中样本的最小权重

0

树的最大深度

10

叶子节点的最大数量

50

节点划分不纯度的阈值

0

图表说明：

上表展示了模型各项参数配置以及模型训练时长。

输出结果2：特征重要性

图表说明：

上柱形图或表格展示了各特征（自变量）的重要性比例。

输出结果3：模型评估结果

MSE

RMSE

MAE

MAPE

R2

训练集

1070066.936

1034.44

753.391

8.887

0.898

交叉验证集

5262983.739

2289.106

1544.638

17.708

0.496

测试集

4633592.544

2152.578

1474.091

17.271

0.483

图表说明：

上表中展示了交叉验证集、训练集和测试集的预测评价指标，通过量化指标来衡量GBDT的预测效果。其中，通过交叉验证集的评价指标可以不断调整超参数，以得到可靠稳定的模型。

●MSE（均方误差）：预测值与实际值之差平方的期望值。取值越小，模型准确度越高。

●RMSE（均方根误差）：为MSE的平方根，取值越小，模型准确度越高。

●MAE（平均绝对误差）：绝对误差的平均值，能反映预测值误差的实际情况。取值越小，模型准确度越高。

●MAPE（平均绝对百分比误差）：是MAE的变形，它是一个百分比值。取值越小，模型准确度越高。

●R2：将预测值跟只使用均值的情况下相比，结果越靠近1模型准确度越高。

输出结果4：预测结果

预测测试集结果Y

Price(USD)

Totalnumberofhouseholds

Greeningrate

Floorarearatio

Propertymanagementfee（/m2/monthUSD）

above-groundparkingfee（/monthUSD）

undergroundparkingfee（/monthUSD）

lon

lat

X

Y

7443.2460118524605

6700

537.837066584842

0.295511092769891

1.501731972341126

14.950235373234701

136.40734557595994

111.85534591194968

111.634515

1279

19.76340601526811

35.03389021302017

7839.224464628156

8983

90

0.3

1.2

25

150

111.85534591194968

111.666643

2362

20.959423880338253

34.330343722981645

12730.00598317408

10834

1800

0.2

1.2

15

100

111.85534591194968

111.747714

2754

23.97742575842315

35.765691731681414

7732.296206976145

6700

135

0.3

1.2

9

150

111.85534591194968

111.651884

879

20.409995728241398

36.088930748190684

6927.456719306424

8006

537.837066584842

0.295511092769891

1.501731972341126

14.950235373234701

136.40734