能源系统大数据分析理论与实-5.监督学习方法-下.docxVIP

1

能源系统大数据分析理论与实践第六节

监督学习方法下

2

目录

o模型选择与优化

o模型评价方法

o模型解读

3

模型优化

理想的预测模型应该具有较好的泛化能力。同时，模型应具备

低偏差（lowbias）和低方差（lowvariance）的属性。

(b)

(b)

预测模型中的偏差与方差示意图

模型优化

输入变量X：

输入变量X：1、2、3、4、5

输出变量Y：1、8、27、64、125

不难发现Y=X

不难发现Y=X3

假如此时选取一次线性模型，可

假如此时选取一次线性模型，可以想象模型偏差较大，原因是算法本身过于简单，建立的模型将具有高偏差、低方差属性，此类现象被称为欠拟合（under-

fitting）；

当X和Y本身存在的关系可以通过一次线性模型进行有效表征，但采用了高阶函数，那么模型会很容易出现低偏差、高方差的问题，即过拟合（over-fitting）。

模型欠拟合与过拟合示意图

模型训练、优化及评估流程

为了保证模型训练、优化和评估的有效性，通常要对既有数据进行预先分割。

如图（a）所示，最常见的分割方法是按照特定比例对既有数据进行随

如图（a）所示，最常见的分割方法是按照特定比例对既有数据进行随机无放回采样，比如按照70%：30%的比例随机抽选数据样本，形成训练和测试数据集。

上述比例不是固定的，可以根据实际情况进行调整，只需保证有足够的测试数据即可。

(a)(b)

常见的数据分割方法及预测建模示意图

模型训练、优化及评估流程

(a)(b)

常见的数据分割方法及预测建模示意图

（a）的主要局限在于没办法满足在测试阶段前对不同模型的对比需

（a）的主要局限在于没办法满足在测试阶段前对不同模型的对比需求。

比如，假设想要对比不同超参数下某一监督学习算法的预测效果，只能建立不同超参数下的模型，然后根据其在测试数据中的表现筛选出最优的模型超参数。

但是，此时便没有多余的、算法未见过的数据来公平地评价最优模型的泛化能力了。

模型训练、优化及评估流程

(a)(b)

常见的数据分割方法及预测建模示意图

为了满足模型对比和超参数调优需求，实践中通常会采取（b）所示

的分割方法，即按照特定比例将数据分为训练、验证和测试数据集。

（1）根据训练数据建立不同类型或者不同超参数下的预测模型；

（1）根据训练数据建立不同类型或者不同超参数下的预测模型；

（2）根据不同模型在验证集中的表现确定最优模型设置；

（3）使用最优模型设置，综合运用训练和验证数据建立最优预测模型；

（4）使用测试数据评估最优模型的泛化能力。

模型训练、优化及评估流程

(a)(b)

常见的数据分割方法及预测建模示意图

（b）方法存在局限：

（b）方法存在局限：

?分割形成的训练和验证数据存在随机性，最优模型设置可能存在偏差；

?数据资源较稀缺时，数据利用率不高，模型在首次训练过程中并未充分考虑验证数据集中的样本信息。

模型训练、优化及评估流程

为解决上述问题，学者们进一步提出了基于交叉检验（cross-validation）的方法，通过将训练和验证数据的分割过程重复K次生成K折（K-fold）数据。

5fold数据分割示意图

模型训练、优化及评估流程

如图所示，使用者需要将模型训练和验证过程重复K次，每一次都使用K-1折数据训练模型，剩余的1折数据用于模型验证。

具体步骤：

（1）将原始数据按照特定比例分为训练和测试数据，如70%:30%；

（2）在训练数据中使用K次交叉检验，根据验证结果均值确定最优的模型形式或超参数；

（3）建立最终的预测模型，并根据测试数据集量化其泛化性能。

5fold数据分割示意图

模型超参数类型及优化方法

在处理能源领域问题时，大量实践表明过拟合现象通常更为常见和严重。主要原因：

相较于其他领域（如计算机视觉、语音识别等），能源领域预测问题的复杂度并不高，因此常规监督学习算法就具备足够的复杂度进行有效预测，一般不存在欠拟合问题。

?比如，在预测建筑系统能耗时，可以通过加大神经网络隐层及节点个数提升模型复杂度，但在实践中一般并不需要隐藏层数大于5的大体量神经网络模型。

能源领域的数据量有限，且一般存在明显周期特性。

?比如，对于成熟运行的商业建筑来说，其冷热负荷需求会呈现明显的周期规律。因此,在使用高度复杂的监督学习算法时，提供有价值信息的数据量并不大