在MPSoC中用于动态平衡GPU和CPU带宽的感知QoS的存储控制器.docVIP

在MPSoC中用于动态平衡GPU和CPU带宽的感知QoS的存储控制器 摘要 多种多样的IP核集成在了现代的系统芯片中并进行资源共享。片外存储器的带宽经常是最缺少的资源，需要进行认真的配置。最重要的两个核:CPU和GPU，可能同时都需要高的带宽。我们证实，传统的服务质量配置技术有时会允许CPU垄断共享带宽，从而极大地限制GPU的性能。我们在一种能跟踪GPU工作量进度的新机制的基础上提议对CPU的优先权和GPU的内存请求进行动态的适应。我们的评估证实：这种机制能够显著改善GPU的性能并只对CPU造成最低的影响。 简介 一种典型的现代系统芯片由多种类型的IP核构成，这些IP核有不同的功能。这种SoC之所以能实现是因为异构性提高了效率，减少了开发时间。所有的集成核共享片外存储器，这通常是最受到限制的资源。例如，高端SoC现在包含了高功耗的CPU和GPU核，它们对存储系统的需求都非常大。如何在CPU和GPU核之间进行缺乏的内存带宽的最佳配置依旧是一个重要的挑战。CPU对延迟是很敏感的，在没有性能损失的情况下不能承受过长的内存延迟。另一方面，GPU可以承受长的延迟，但却始终需要高带宽来满足它的实时期限。因为CPU对延迟敏感，所以通常情况下，来自CPU的请求的优先级总是高于GPU。我们证实，这样一个静态的策略可能会导致GPU的帧速率低到令人不能接受，相反，提高来自GPU的请求的优先级会降低CPU的性能。 我们提出了一个新的机制来解决这个问题，通过动态地调整存储控制器的服务质量（QoS）策略。正如今天我们做的，我们默认CPU的请求为高优先级，并适时地对GPU的请求进行服务。但是，当GPU预期将超过一个帧期限时，我们通过提高它的优先级来提高GPU的服务速率。我们的技术的关键在于识别何时这个默认的策略应当被调整。我们通过利用GPU架构的知识来做到这个，并监控一个即将超过帧期限的帧的处理进程，存储控制器便能决定何时一个帧期限即将被超越并提高GPU的服务质量。 据我们所知，我们是提出并提供一个详细的存储控制器的QoS策略调整的评估，来响应实时期限下的进展情况的第一批人。我们展示了这个动态的技术是怎样实现实时约束和最高效存储器访问之间的平衡???，以及是如何通过只对CPU造成很小的影响而维持GPU的目标性能的。另外，我们还首先提出了一份详细分析，这份分析是建立在用一个详细的存储系统对GPU和CPU核进行周期精确级的联合仿真的基础上的。我们对这些模块如何相互作用有着重要的见解，而这和当前的最佳实践是相抵触的。 本文剩余部分组织如下：第二部分介绍了CPU和GPU架构，存储控制器和常用的QoS机制的背景。第三部分在我们的GPU工作量进展监控技术的基础上描述了我们的动态QoS机制。我们在第四和第五部分介绍了我们的评估方法和结果，在第六部分得出了结论。 背景和相关工作 这部分简要讨论了存储器访问和CPU和GPU核的执行特征，以及现代存储控制器和QoS机制的基本原理和设计。 CPU 现代的通用处理器主要被设计用于将执行单线程的性能最大化，单线程性能对于长延迟的存储器请求是非常敏感的，因为依赖于长延迟装载的指令在装载完成之前是不能进行的。高速缓存和乱序执行能够减轻长时间的主存储器延迟的影响。然而，主存储器访问延迟比乱序结构所能容忍的延迟要高很多，并且从高速缓存到主存储器的未命中往往会拖延线程的访问[7]，因此，任何CPU存储器访问延迟的增加，如GPU的竞争所带来的延迟，会降低CPU的性能。 GPU 移动GPU核通常采用分块渲染的方式来降低片外存储器的带宽消耗，屏幕被分为很多块，这些块可以彼此独立地被处理（图1）。因为这些块足够小，一个块中的所有像素数据在被渲染时都可以存放在片上缓冲区，这样对相同像素的重复访问不会引发片外存储器访问。GPU能够并行地处理块中以及多个块中所有的顶点和碎片，因此能够承受非常高的存储器延迟。但它们仍需要高的带宽，并且对可用带宽的破坏是非常敏感的。 简单的场景可以被快速地处理，并产生相对较低的存储器通信量，而其它可能要占用全部的时间甚至更长，导致跳帧，降低用户的体验。GPU在结束一个帧和开始下一个帧之间可能处于空闲状态，因为帧速率是固定的，帧的渲染时间是变化的，图2显示了一个例子，以Taiji为工作负载的GPU处理一个帧，并和两个CPU核一起运行。图中显示了GPU是怎样只需要一半的帧时间去处理一个场景的（GPU的带宽消耗用虚线表示），并且总共消耗了约62%的总存储器带宽，当没有被存储控制器约束的时候。这张图还显示了GPU对带宽的过度使用与GPU空闲时相比是如何降低CPU性能的（CPU每周期执行的指令数（IPC），用实线表示）。这两张子图显示了不同的CPU工作量和同一组GPU帧。Mcf和art都是MinneSPEC套件[9]中的内存密集型应用程