深度强化学习双来源库存管理及对供应和产能风险的意识-计算机科学-深度强化学习-大规模随机优化-供应链管理.pdfVIP

深度强化学习双来源库存管理及对供应和产能风险的

意识

FengLiuYingLiuCarsonEisenach

liudef@liuyingy@ceisen@

Abstract

在这项工作中，我们研究了如何通过利用干预模型来高效地将强化学习

本（RL）应用于解决大规模随机优化问题。所提出的方法的关键在于通过使用

译预训练的深度学习（DL）模型模拟和组合随机过程来更好地探索解空间。我

中们在一个具有挑战性的实际应用中展示了我们的方法，即供应链优化中的多

来源多时期库存管理问题。具体来说，我们采用深度RL模型在一系列假设

1

v下学习和预测随机供应链过程。此外，我们还引入了一个约束协调机制，旨

6在预测给定库存网络交叉产品约束下的对偶成本。我们强调的是，与直接将

4复杂的物理约束建模到RL优化问题中并作为整体解决随机问题相比，我们

4

4的方法将那些供应链流程分解为可扩展和组合的DL模块，从而在大规模实

1际数据集上实现了更好的性能。我们也概述了未来研究中的开放性问题，以

.

7进一步探究此类模型的有效性。

0

5

2

:

v

i

x1介绍

r

a

现代零售供应链（如沃尔玛和亚马逊）中的库存管理系统通常采用多来源采购策略，该系统

结合了准时制（JIT）订购策略和其他专门策略，旨在在所有产品中实现供应短缺与库存健康

之间的平衡，同时不影响库存管理对整体零售服务的贡献。

在现实世界的供应链中，订单数量会受到几个后处理程序的影响，包括为了满足供应商约束

（如最小订单量和批量大小限制）而进行的修改。其次，供应可能是不可靠的，供应商可能

只部分完成他们收到的订单。这种情况可能发生的原因有很多，包括供应商本身缺货。在文

献中，零售商最终接收到的原始订单数量的比例被称为产量或补给率。目前的状态下，没有

现有的表示模型来学习这些外部过程。

另一方面，无论是网络入口容量还是存储容量的限制，都需要供应链系统评估应购买哪些库

存以及通过所有采购渠道何时使其到达，以实现有效的容量控制器（CC）。例如，对于即时

采购（JIT），传统的CC机制通常能够模拟和计算每周容量成本，以满足短期展望期内的可

用容量，比如一到三个月。然而，随着现代采购系统的演变，反映了全球供应链日益复杂的

被42国际机器学习大会，扩展干预模型工作坊接受,加拿大温哥华。PMLR267,2025。版权l’

2025作者。

状况以及制造商直接提供的成本折扣的可用性，库存决策需要对未来更长时间进行规划，例

如超过六个月。

这项工作也受到了先前研究(Madekaetal.,2022;Andazetal.,2024;Eisenachetal.,2024)的启

发，这些研究表明深度RL在单货源库存计划问题中的可行性。但是我们通过针对更复杂的

变体来推进这一领域的研究，在这种变体中，存在多渠道供应商，并且主要权衡的是不同供

应商的成本与供应风险之间的平衡。另一方面，我们的目标是研究折扣率对长周期订单、随

时间随机数量到达模式的影响。

这里，我们强调在通过动态规划等传统方法解决多来源库存问题时遇到的一个关键问题是与

库