“学海拾珠”系列之二百三十：“知识”嵌入型深度强化学习在多元资产配置中的应用.pdf

[Table_CommonRptType]金融工程

正文目录

1引言4

2背景5

2.1采用基于规则的资产配置模型5

2.2成熟的强化学习算法5

2.3.1SAC算法6

2.3.2DPG和DDPG算法7

3方法论8

3.1问题定义8

3.2数据采集与预处理8

3.3模型设计9

3.3.1基于规则的模型9

3.3.2模仿学习12

3.3.3导师-学生模型12

3.3.4DDPG-SAC混合模型13

3.3.5动作调整模块13

3.3.6引导噪声注入网络13

4实证结果14

5结论19

风险提示：20

敬请参阅末页重要声明及评级说明2/21证券研究报告

[Table_CommonRptType]金融工程

图表目录

图表1文章框架4

图表2强化学习框架中基于规则模型扩展的选择与训练架构可视化9

图表3扩展版本1：扩展的BBA再平衡策略10

图表4扩展版本2：HALLOWEEN策略支持的扩展BBA11

图表5基于规则的资产配置扩展策略的业绩比较11

图表6资产池在训练阶段由模型选择14

图表7模型性能提升结果15

图表8EXT2型学生模型（深色）与导师模型（红色）的对比16

图表9EXT2B型学生模型（深色）与导师模型（红色）的对比17

图表10EXT1型学生模型（深色）与导师模型（红色）的对比17

图表11EXT1A型学生模型（深色）与导师模型（红色）的对比18

图表12EXT2型学生模型（左图）与导师模型（右图）资产配置记录对比19

敬请参阅末页重要声明及评级说明3/21证券研究报告

[Table_CommonRptType]金融工程

1引言

图表1文章框架

资料来源：华安证券研究所整理

随着机器学习（尤其是深度学习）在解决复杂现实问题（如机器翻译和图像分

类）中展现出的卓越性能，各类创新方法正被逐步融入精密投资策略的构建中。这些

计算技术已广泛应用于投资的