人工智能报告课案.docx

人工智能报告名称：机器学习的代表-AlphaGo学号： 级：计科13-1姓名：李亚斌2016/4/27谷歌DeepMind宣布他们研发的神经网络围棋 AI，AlphaGo，在 2015 年 10 月首次5:0 战胜了人类职业选手欧洲围棋冠军 Fan Hui二段。随后又在2016年3月17日以4：1的成绩战胜世界围棋冠军李世石，顿时引起人们的极大关注。本文就AlphhaGo的原理进行了基本的分析研究，其中参考了一些专业人士的分析，现分析总结如下。首先我们来了解一下什么是深度学习深度学习“深度学习”是指多层的人工神经网络和训练它的方法。一层神经网络把大量矩阵数据作为输入，通过非线性激活方法取权重，再产生另一个数据集合作为输出。这就像生物神经大脑的工作机理一样，通过合适的矩阵数量，多层组织链接一起，形成神经网络“大脑”进行精准复杂的处理，就像人们识别物体标注图片一样。虽然神经网络在几十年前就有了，直到最近才形势明朗。这是因为他们需要大量的“训练”去发现矩阵中的数字价值。对早期研究者来说，想要获得不错效果的最小量训练都远远超过计算能力和能提供的数据的大小。但最近几年，一些能获取海量资源的团队重现挖掘神经网络，就是通过“大数据”技术来高效训练。两个大脑AlphaGo是通过两个不同神经网络“大脑”合作来改进下棋。这些大脑是多层神经网络跟那些 Google 图片有哪些信誉好的足球投注网站引擎识别图片在结构上是相似的。它们从多层启发式二维过滤器开始，去处理围棋棋盘的定位，就像图片分类器网络处理图片一样。经过过滤，13 个完全连接的神经网络层产生对它们看到的局面判断。这些层能够做分类和逻辑推理。下图则是一些具体的分析：这些网络通过反复训练来检查结果，再去校对调整参数，去让下次执行更好。这个处理器有大量的随机性元素，所以我们是不可能精确知道网络是如何“思考”的，但更多的训练后能让它进化到更好。第一大脑：落子选择器 AlphaGo的第一个神经网络大脑是“监督学习的策略网络，观察棋盘布局企图找到最佳的下一步。事实上，它预测每一个合法下一步的最佳概率，那么最前面猜测的就是那个概率最高的。你可以理解成“落子选择器”。落子选择器是怎么看到棋盘的？数字表示最强人类选手会下在哪些地方的可能团队通过在 KGS（网络围棋对战平台）上最强人类对手，百万级的对弈落子去训练大脑。这就是AlphaGo最像人的地方，目标是去学习那些顶尖高手的妙手。这个不是为了去下赢，而是去找一个跟人类高手同样的下一步落子。AlphaGo落子选择器能正确符合 57% 的人类高手。（不符合的不是意味着错误，有可能人类自己犯的失误）更强的落子选择器AlphaGo系统其实需要两个额外落子选择器“大脑”。一个是“强化学习的策略网络，通过百万级别模拟对局来完成。姑且称之为更强的选择器。对比基本的训练，那只是教网络去模仿单一的人类落子，高级训练会与每一个模拟棋局下到底，教网络最可能赢的下一手。Sliver 团队通过更强的落子选择器总结了百万级训练棋局，比他们之前版本又更新改进了不少。如果就只用这种落子选择器已经是强大的对手了，可以到业余棋手的水平，或者说跟之前最强的围棋 AI 媲美。这里重点是这种落子选择器不会去“读”。它就是简单审视从单一棋盘位置，再提出从那个位置分析出来的落子。它不会去模拟任何未来的走法，展示了朴素的深度神经网络学习的力量。更快的落子选择器AlphaGo当然团队没有在这里止步。为了做到这一点，他们需要更快版本的落子选择器大脑。越强的版本在耗时上越久－为了产生一个不错的落子也足够快了，但“阅读结构”需要去检查几千种落子可能性才能做决定。Silver 团队建立简单的落子选择器去做出“快速阅读”的版本，他们称之为“滚动网络”。简单版本是不会看整个 19*19 的棋盘，但会在对手之前下的和新下的棋子中考虑，观察一个更小的窗口。去掉部分落子选择器大脑会损失一些实力，但轻量级版本能够比之前快 1000 倍，这让“阅读结构”成了可能。第二大脑：棋局评估器 AlphaGo的第二个大脑相对于落子选择器是回答另一个问题。不是去猜测具体下一步，它预测每一个棋手赢棋的可能，在给定棋子位置情况下。这“局面评估器”就是论文中提到的“价值网络（Value Network)”，通过整体局面判断来辅助落子选择器。这个判断仅仅是大概的，但对于阅读速度提高很有帮助。通过分类潜在的未来局面的“好”与 “坏”，AlphaGo能够决定是否通过特殊变种去深入阅读。如果局面评估器说这个特殊变种不行，那么 AI 就跳过阅读在这一条线上的任何更多落子。局面评估器是怎么看这个棋盘的。深蓝色表示下一步有利于赢棋的位置局面评估器也通过百万级别的棋局做训练。Silver 团队通过复制两个AlphaGo的最强落子选择器，精心挑选随机样本创造了这些