应用系统接入AI大模型方案设计与实现.pdfVIP

第30卷第9期现代计算机

2024年5月10日ModernComputer·91·

文章编号:1007‑1423（2024）09‑0091‑05DOI:10.3969/j.issn.1007‑1423.2024.09.017

应用系统接入AI大模型方案设计与实现

张正东*

（贵阳学院计算机科学学院，贵阳550005）

摘要：设计了应用系统接入AI大模型的方案架构，阐述了其中关键技术Server⁃SentEvents和WebSocket，给出了关

键实现代码，测试了接入效果。

关键词：AI大模型；方案架构；Server⁃SentEvents；WebSocket

0引言因此，本文设计和实现了应用系统接入AI

大模型的技术方案，并能兼容网页、小程序和

自2022年底ChatGPT发布以来，引发了社

APP等多种形式的前端。后续应用系统亦可基

会各界的广泛关注，产生了巨大反响，被视为

［1］于服务商的AI大模型训练自己的专有数据集，

颠覆性的“通用人工智能”技术里程碑，在

提供细分领域的大模型服务。

全世界范围内掀起了新一轮的人工智能科技浪

潮。国内各大科技公司也相继发布了自家的AI1方案设计

大模型，如科大讯飞的星火认知大模型、百度

的文心一言、华为的盘古大模型和阿里巴巴的11..11方案架构方案架构

通义千问等，进一步推动了AI大模型的应用和AI大模型服务商一般都需要对接入的应用

普及。以ChatGPT为代表的生成式人工智能的通过Key、Secret或者Token进行认证，认证信

发展正在对人类社会产生深层次和颠覆性的挑息不应暴露给终端用户，故需要在应用服务器

［2］

战，对于个人创业者和中小型公司来说，同端完成接入。前端（用户端）和应用服务器间建

样也是一个巨大的机会，搭上AI大模型发展的立通信连接，把问题发送给应用服务器；收到

快车，将能进一步提升产品竞争力，加强用户

问题后，应用服务器再发起和AI大模型服务商

黏性，扩展用户渠道。

的连接，转发问题。对于大模型生成的结果，

党的二十大报告提出“推动战略性新兴产

同样也由应用服务器转发给前端。为了能够基

业融合集群发展，构建新一代信息技术、人工

于聊天上下文会话生成内容，需要对会话记录

智能、生物技术、新能源、新材料、高端装备、

进行保存。整体接入技术方案架构如图1所示。

绿色环保等一批新的增长引擎”。发展AI大模型

技术，在应用系统中提供生成式内容服务，已小程序

SSE推

WebSocket

成为产品演进趋势。但AI大模型底层技术复杂、