用增强学习来进行路由规划-主要算法 - Wireless and Sensor Network Lab.pptxVIP

AI与SDN的结合;目录 Contents;软件定义网络（Software Defined Network, SDN ），是一种新型网络创新架构，其通过将网络设备控制面与数据面分离开来，从而实现了网络流量的灵活控制，为核心网络及应用的创新提供了良好的平台。 同时，受益于集中式控制机制和数据平面白盒化趋势，SDN能够极大地提升现有网络的可控可管性和灵活性，可有效降低网络服务提供者的投资成本和运营管理成本，并具备实时收集数据平面的海量网络数据的能力。 ;目录 Contents;未来网络需要满足应用高吞吐、低时延的要求，使用传统的路径规划算法很难根据链路负载的动态情况实时的给出最优的流量调度方案。 现在有希望基于历史的海量流量数据，对链路承载的流量进行主动预测和有效调度。 运用深度学习、增强学习等方法可在大规模SDN网络中的故障检测、流分析、路径规划等人力难以完成的方向实现突破。 微软（SmartNIC）;目录 Contents;流分类（识别流对应的应用）;AMPF网络控制;结果;大象流预测;目录 Contents;增强学习是一类交互式的学习算法，即个体本身会对环境产生影响，环境也会反馈给个体信息。 通常我们可将环境定义成一个个的状态，个体在每个状态在不同情况做不同的动作，动作完成后，环境会给个体一个反馈Reward，个体不断尝试不同动作，最终选择可以获得累积最大Reward的动作。 增强学习也许会发现很多人类没有注意的特征，甚至产生更强的效果 （比如谷歌的AlphaGo，谷歌正在用增强学习让计算机自己学习如何设计神经网络的结构（Meta-Learning），使得深度学习的效果更好…..）;?;;测试：;猜想（DQN）：;结论：;谢 谢！