hpc云计算——easycloud简介-fsos-cloudcomputing.pdfVIP

HPC 云计算——EasyCloud 简介 1 EasyCloud 是什么？ 由于云计算技术发展，虚拟机技术得到了快速发展。但到目前为止，云计算 虚拟机技术基本都用在数据处理，计算能力较差，采用的基本都是分布式计算。 分布式计算分给各个节点子任务都具有独立性，各个节点任务不需要关联，上一 个任务的结果对下一个任务的处理没有影响, 实时性要求不高。随着人工智能技 术发展，对计算能力有了新的要求，需要并行式计算。并行式计算和分布式计算 不同，各个节点任务依赖性强 ，上一个任务的结果对下一个任务的处理影响很大， 实时性要求很高。为了解决这一问题 ，我们研发了EasyCloud HPC 云计算技术， 不但可以用在分布式计算 ，还可以用在并行式计算 ，为人工智能 (迭代计算) 发展提供了强大支持。 无论何时何地需要多强的超级计算机，不需要多大代价，EasyCloud 能快速 地让云端或者局域网内大量闲置计算机形成集群，进行实时互动，起到超级计算 机的作用 ，为人工智能需要大量CPU 集群计算需要提供了条件，同时 EasyCloud 让开发能够使用云端或者局域网集群进行人工智能迭代计算软件变得容易。 EasyCloud 为了人工智能计算需要设计开发，既可以用在云端也可以用在 局域网，利用闲置的计算机建立计算集群，节能环保 （天河二号超级计算机造价 25 亿元 每日耗电费 60 万元），并且计算结果不会因为一个节点出错受到影响， 安全可靠，需要几个计算机或者 CPU 可以态灵活加减，具有极大弹性（如图1 ）。 特别是 EasyCloud 技术结合我们的 EasyWeb 技术可以让移动端和服务端无缝 结合，让移动的设备如手机可以指挥云端的计算机集群完成超级计算任务，一个 手机似乎具有无限的计算能力，可以让人工智能如虎添翼。有了 EasyCloud, 让 支持并行式和分布式云计算软件容易开发。 图 1- EasyCloud 和超级计算机 EasyCloud 是一种高性能云计算技术 ，它的设计目标就是用来简化并行计 算系统的开发难度。使用 EasyCloud 开发并行计算程序，开发人员不需要任何 并行式系统开发经验、也不需要掌握网络通信知识，更不需要专门的培训，简单 查看一下 EasyCloud 自带的示例代码，就可以像编写传统串行计算程序代码一 样，编写出一个支持并行式的计算程序，所开发的程序可以就使用几台或几千台 云端或者局域网的计算机进行人工智能类的实时互动计算。 MapReduce ，Spark ，和CafeOnSpark 应当是目前最流行的分布式计算技 术 ，EasyCloud 不但可以实现分布式计算并且还可以实现并行计算。 MapReduce ，Spark ，和CafeOnSpark 是 Hadoop 和 Spark 的扩展，以及 最近谷歌的 TensorFlow 都侧重于大规模数据的分布式处理，而 EasyCloud 侧 重的是高性能并行计算。使用 EasyCloud 开发并行式和分布式程序，开发人员 拥有更多的自主权，可以主动申请指定数量的节点服务器，自由指定各节点在同 一时间运行相同的或不同的任务，并随时了解各节点的实时进度。EasyCloud 完 全是我们自主开发 （包括网络通信协议），已经应用在人工智能土地森林生态规 划管理决策支持系统上（ 和 forestcloud.ca ）。我们已经比较了 局域网 ，阿里云和加拿大云的计算能力。 EasyCloud 既可以在云端运行，也可以在局域网运行，根据计算规模的不 同，动态申请不同数量的计算节点。同时也可以运行在局域网环境中，任意几台 普通的计算机，都可以构建一个计算集群。 2 EasyCloud 结构组成 EasyCloud 由中心服务器和节点服务器两部分组成，中心服务器负责整个计 算集群的状态维护、任务接受和任务分配等工作，节点服务器负责执行中心服务 器所分配的任务，节点服务器的数量可以是几台与可以是几千台 （图 2 ）。 图 2- EasyCloud 的框架 EasyCloud 可以通过创建多个任务子集群，来实现同时执行多个不同的任 务，如集群中 10 台计算机处理A 任务，另外 10 台计算机处理 B 任务而互不影 响。这两个子集群可以独立也可以形成一个大集群。EasyCloud 同时提供了图形 化的管理工具，可以随时查看各计算节点