与物交谈：将大语言模型集成到物联网网络中-计算机科学-大语言模型-物联网-边缘计算.pdfVIP

1

与物交谈：将大语言模型集成到物联网网

络中

AlakeshKalita,SeniorMember,IEEE,

摘要—大型语言模型（LLMs）与物联网（IoT）网络的融合络中整合LLMs可以带来巨大的变革，使其更加智能、

为构建智能、响应迅速且用户友好的系统开辟了新的机遇。本研高效且响应迅速[2],[3],[4]。这种融合利用了LLMs在

究提出了一种以边缘为中心的框架，将LLMs集成到IoT架构物联网中的自然语言理解能力，使设备能够以更富有意

中，以实现基于自然语言的控制、环境感知决策和增强自动化。

义和情境感知的方式进行通信[5]。例如，如果用户说

所提出的模块化轻量级检索增强生成（RAG）基础的LLMs部

“设置电影之夜”，LLMs可以帮助设置客厅的暗灯,关

本署在连接至IoT网关的边缘计算设备上，实现了用户命令和传

译感器数据的本地处理，从而减少延迟、提高隐私保护并提升推理闭窗帘，将恒温器调整到舒适的温度，打开电视并导航

质量。我们通过使用LLaMA3和Gemma2B模型控制智能至用户首选的流媒体服务。所有这些都可以通过单一命

中设备的一个智能家居原型来验证该框架。实验结果突出了模型大令完成，而在当前的物联网系统中则需要为每个动作分

1小与模型精度及推理时间之间的权衡关系。最后，我们也讨论了别下达多个单独的命令。简而言之，物联网可以充当环

v可以利用基于LLM的IoT系统的潜在应用及其相关的一些关

5境的“感知肢体”，将实时传感器输入（如温度、运动、

6键挑战。

8振动）传递给大语言模型，而大语言模型则充当“大

7IndexTerms—大型语言模型（LLMs），物联网（IoT），脑”，分析数据，得出结论，并据此进行沟通或采取行

1MQTT，边缘计算

7.动。因此，基于大语言模型的物联网通信可以显著提高

0效率、带宽利用和用户互动。

5I.介绍

2

:随着数字化的发展，物联网（物联网）技术已然而，物联网网络中使用的设备在处理能力、内存

v

iW经成为网络和通信领域的一个重要话题。物和电源方面资源有限。因此，在这种类型的设备上使用

x

r联网旨在连接地表上的数十亿物理设备，这些设备可以大语言模型并不是一件轻而易举的事。同样，云计算等

a

是生物或非生物实体，并且具有感知/执行和通信能力。技术也有其缺点，比如更高的延迟和成本。因此，边缘

通过实现无缝的连接和数据交换，物联网正在改变我们计算可以成为在物联网应用（如智能家居、智能工业

与周围世界的互动方式[1]。另一方面，新的基于深度等）中使用大语言模型的一种合适方法。边缘计算在更

生成的大型语言模型（大语言模型）被设计为理解和生接近数据生成源的地方处理数据，而不是依赖于传播延

成人类语言。在生成式AI和基于变压器的大语言模型迟较高的集中式数据中心[6]。边缘计算减少了延迟，节

方面的必威体育精装版进展已经展示了它们在理解自然语言和推省了带宽，并增强了实时数据处理能力。

理方面的能力。如GPT-4、GPT-4o和Llama3.1等大

语言模型，经过大量文本数据的训练，使它们能够执行因此，在本文中，我们简要讨论了如何利用大语言

广泛的语言任务，包括翻译、摘要和对话。模型在基于边缘计算的物联网系统中建立高效的通