一种分布式智能核心结构及其系统应用.docx

?

?

一种分布式智能核心结构及其系统应用

?

?

王静逸熊健

摘要：为支持群体智能体系的结构和计算，智能核心采用內部线程通道分层结构、外部多节点分层、联邦节点结合的3层模式，集成联邦形式模型、集中化并行模型和博弈对抗模型，形成支持群体智能体系的多样化分布式人工智能（artificialintelligence，AI）模型的计算系统。该系统可提高群体智能体系的底层能力，提供易用性高、兼容性好和能解决复杂多智能体问题的核心结构，提高分布式AI的系统水平。

关键词：分布式人工智能;群体智能;HLA;Agent;博弈对抗;联邦计算

：TP391.92;TP311.521文献标志码：B

0引言

随着神经网络的突破，人工智能（artificialintelligence，AI）得到巨大的发展，特别在图像、分析和推荐等领域。

在AI快速发展的同时，计算规模扩大、专家系统单一、神经网络模型灵活性不足、应用领域复杂等问题也在不断升级。在这样的背境下，分布式AI的发展被众多研究机构和大型企业提上日程。

1分布式AI与智能核心

分布式AI可以解决集中化AI的主要问题：（1）规模化的计算;（2）计算模型的拆分训练;（3）多智能专家系统的协作;（4）多智能体博弈和训练演化，解决数据集不足问题;（5）群体智能决策和智能系统决策树的灵活组织，适应复杂的应用场景，特别是在工业、生物、航天和经济等研究领域;（6）适应物联网和小型智能设备，可联合更多的边缘计算单元和移动设备。

1.1TensorFlow学习平台的分布式方案

运用TensorFlow学习平台的组件，可以形成2种主要的分布式进程：单进程和多进程。该方案出自ABADI等题名TensorFlow：Large-scalemachinelearningOnheterogeneousdistributedsystems的论文。该平台的部署和运作模式见图1。

根据TensorFlow的分布式机器学习方案可知其存在一些缺点，如：（1）分布式的计算方式提供训练和参数更新服务，可极大扩展规模化的计算能力，但是在数据归并和多级分层上没有较好的计算模型，无法提供多层次的分布式结构;（2）在分布式的计算模型中，无较好的计算模型构造方式，因此无法提供分布式AI所需要的任务分发、数据归并和模型更新等能力;（3）分布式组织方式使平级层次的分布式结构归并成为最终模型，可完成集中化的单一专家系统，无法形成多群体博弈对抗的协调决策与多专家系统的兼容协调;（4）TensorFlow需要高性能计算机和高性能GPU，难以支持小型设备和物联网等多设备的边缘化集群计算。

1.2ApacheSpark分布式机器学习

在AacheSpark中，计算模型可以设计为有向无环图（directedacyclicgraph，DAG），无环图的顶点是弹性分布式数据集（resilientdistributeddatabase，RDD），RDD是Spark的核心组件。通过RDD转换，可形成模型的计算、转换和聚合等过程，整体模型可以表示成一个DAG。DAG的顶点表示中间转换，可存储中间结果;DAG的边表示计算过程，可以进行数据转换和数据归并等处理。比如，在分布式机器学习模型训练中，多个计算节点共同训练、平均更新模型规模是提高机器学习规模化训练的重要方法。Spark计算模型和Stage形成的DAG见图2。

根据Spark的分布式机器学习机制，并结合Reference[2]，可以总结Spark存在的缺点：（1）支持大规模的模型计算分层，但是计算过程消耗较大，不适用于较小规模的分布式方案;（2）节点与节点之间的数据路由不灵活;（3）难以在小型化设备间进行联合学习运算，无法部署在小型化设备上;（4）其并行计算框架的模式是任务确认调度-模型划分-分片计算-归并总结，更适合大数据集的机器学习，不适合多节点博弈等强化学习方法。

1.3Google联合学习方案

针对小型化设备，Google在Federatedlearning：Collaborativemachinelearningwithoutcentralizedtrainingdata中提出联邦联合学习的概念。

联邦联合学习的工作原理为：（1）手机或者其他小型设备下载云端的共享模型;（2）每个小型设备的用户通过自己的历史数据训练和更新模型;（3）将用户个性化更新后的模型抽取成为一个小的更新文件;（4）提取模型的差异化部分进行加密处理并上传到云端;（5）在云端将新用户的差异化模型与其他用户模型进行平均化（Average），然后优化更新现有的共享模型。

联邦联合学习的好处有：（1）聚合边缘的小型化设备（如手机），增加AI的数据来源和计算能力来源;（2）机器学习的模型结果更适应