深度学习雀神麻将代理的进化优化.pdfVIP

深度学习雀神麻将代理的进化优化

JimO’Connor,DerinGezgin,GaryB.Parker

AutonomousAgentLearningLab

ConnecticutCollege

NewLondon,Connecticut,USA

{joconno2,dgezgin,parker}@

Abstract这些系统依赖于手工制定的战略。在这个领域早期的成

功是由诸如极小化算法驱动的，该算法有效地模拟了如

我们提出了Evo-Sparrow，一种基于深度学习的智能决

国际象棋和跳棋(Shannon1950)这类完全可观察、确

策代理，在麻雀麻将中通过优化长短期记忆（LSTM）网

定性游戏中的决策过程。启发式评估和剪枝技术（如

络使用协方差矩阵适应演化策略（CMA-ES）进行训练。

我们的模型评估棋盘状态并在非确定性、部分可观测的-剪枝）的引入使人工智能能够在减少计算成本的情

本游戏环境中优化决策政策。通过对大量模拟进行的经验况下更深入地有哪些信誉好的足球投注网站游戏树(KnuthandMoore1975)。

译分析表明，我们的模型在性能上超过了随机和基于规则游戏人工智能领域的下一次重大突破出现在概率

中的代理，并且达到了与近端策略优化（PPO）基线相当的方法和基于机器学习的方法中。时间差分（TD）学习，

性能，这表明了强大的战略玩法和稳健的政策质量。通以TD-Gammon(Tesauro1995)为例，展示了强化学习

1过将深度学习与进化优化相结合，我们的方法为传统的

v强化学习和梯度优化方法提供了一种计算有效的替代方在无需明确领域知识的情况下开发复杂策略的潜力。该

2系统为结合了强化学习与树有哪些信誉好的足球投注网站的方法铺平了道路，例

2案。这项研究对更广泛的AI游戏领域做出了贡献，展示如MCTS，在围棋等游戏中推动了人工智能性能的进步

5了混合学习策略在复杂随机游戏中应用的可能性。这些

7发现还提供了潜在的应用价值，在麻雀麻将之外的自适(Gellyetal.2012)。MCTS的成功主要源于其平衡探索

0.应决策制定和战略AI开发方面。和利用的能力，使其非常适合决策空间庞大的场景，在

8这些场景中进行全面有哪些信誉好的足球投注网站在计算上是不可行的。

0

51介绍深度学习通过使代理能够直接从结构化数据中学

2习，进一步革命了人工智能游戏玩法。深度强化学习的

:

v游戏型人工智能（AI）长期以来一直作为该领域持引入，特别是像DeepQ-Networks(DQN)(Mnihetal.

i

x续进步的基准和试验平台。从早期基于规则的系统到2013)这样的进步表明，神经网络可以近似价值函数

r现代深度强化学习方法，AI代理在各种领域中展示了并为复杂环境学习策略。正如AlphaGo及其后继者

a

超越人类的表现，包括棋盘游戏如国际象棋(Campbell,AlphaZ