基于超低功耗边缘/物联网节点的 Split-Learning TinyML 实验研究-计算机科学-深度学习推理-高效人工智能.pdf

基于超低功耗边缘/物联网节点的Split-Learning

TinyML实验研究

ZiedJenhani,MounirBensalem,JasenkaDizdareviandAdmelaJukan

TechnischeUniversitätBraunschweig,Germany;{zied.jenhani,mounir.bensalem,j.dizdarevic,a.jukan}@tu-bs.de

Abstract—在超低功耗边缘/IoT节点上直接运行深度学习和通信设置、ML推理以及设备间中间激活（神经网络层

推理一直受到微控制器紧缩内存和计算预算的限制。分割学习输出）传输方面的数据仍然缺失。此外，与中间激活传输

（SL）解决了这一局限性，它将部分推理过程执行于传感器，并

及预测数据设备间延迟相关的往返时间和延迟目前仍不清

将剩余部分卸载到伴生设备上。在受限设备及其对低功耗空中传

楚，这需要新的研究。最后，空中通信模式对系统性能的

输协议相关影响的背景下，分割学习的性能仍然鲜为人知。据我

本们所知，本文首次提出了基于EspressifESP32-S3板构建的端影响，例如使用不同协议时的情况，仍然是一个开放问题。

译到端TinyML+SL测试床，旨在评估边缘/IoT环境中分割学基于WiFi、ESP-NOW和蓝牙低能耗（BLE）的通信网络

习TinyML的空中性能。我们对一个量化为8位整数、划分并预计将产生不同的性能表现。

中通过空中更新传递至节点的MobileNetV2图像识别模型进行

1了基准测试。中间激活值通过不同的无线通信方法交换：ESP-在这项工作中，我们研究了在资源受限环境中实施SL

vNOW、BLE以及传统的UDP/IP和TCP/IP，使得在相同

4硬件上进行直接比较成为可能。测量结果显示，在使用UDP的机器学习方法的潜力，使设备能够分布ML计算负载。为

9情况下，分割模型后的block_16_project_BN层生成一个5.66了在硬件资源有限的情况下运行ML模型，我们选择了

5

6kB的张量，该张量在3.2毫秒内通过链路传输，并达到稳定状TinyML框架解决方案。尽管有多种TinyML框架可用于在

1.态往返延迟为5.8秒。ESP-NOW呈现出最有利的RTT性能，不同的微控制器上实现神经网络，但我们选择TensorFlow

7即3.7秒；BLE进一步延长电池寿命但增加延迟至10秒以上。Lite(TFLite)，因为它提供了足够的开发者支持。该模型

0

5I.介绍是在边缘服务器上准备的（分区和量化），我们使用了一

2

:台DesktopPC，并通过空中(OTA)固件更新远程将固件

v高效人工智能的下一个前沿是在超低功耗资源受限的

i部署到物联网设备中，而无需物理访问设备。所选的物联

x边缘/IoT设备上运行深度学习推理，旨在提高数据局部

r网设备基于低成本的开源ESP32微控制器板，可以运行

a性与隐私保护，同时降低带宽利用率并增强实时处理能力

TinyML应用程序所需的软件。

[1]。随着向设备端机器学习计算范式转变，这一目标取得

了显著进展，这得益于对深度学习（DL）模型的修改和优测量结果显示，在block_16_project_BN层之后进行

化[2]。在此背景下，经典DL模型最有前途的替代方案是分割可以得到最吸引人的分割点权衡：产生的5.66kB中

使用轻量级机器学习（