统一多层网关架构系列课程-应用网关的演进历程和分类 从流量网关迈向AI网关.docx

应用网关的演进历程和分类

从流量网关迈向AI网关

耿蕾蕾（如葑）

阿里云开发工程师2024/10/18

统一多层网关架构视频教程

CONTENT

目录

01网关演进形态概览

02网关各演进形态的说明

03网关的下一站：AI网关

04Higress：AI原生的API网关

统一多层网关架构视频教程

网关演进形态概览

伴随软件架构的演进网关形态也在持续进化，K8s成为统一运维界面，AI成为流量增长的核心驱动力

服务管理RPC技术按量使用极致弹性高密度部署

服务管理RPC技术

按量使用极致弹性

高密度部署原子、自治

模块化负载均衡

实现快

维护成本高

Agent、轻量

RuntimeLLMKubernetes

Runtime

LLM

Kubernetes

垂直架构SOA架构微服务架构云原生架构AI原生架构单体架构

垂直架构

SOA架构

微服务架构

云原生架构

AI原生架构

单体架构

ESB微服务网关云原生网关AI

ESB

微服务网关

云原生网关

AI网关？

流量网关（Nginx）

流量网关（Nginx）

今年以来，AI产业的流量增长明显。2-4月，AI产品的日均总流量在1亿，4-6月流量开始增长，到了6-8月日均总流量为1.5~1.6亿。也就是说，在不到半年时间里，AI产品的总流量增长了50%。

网关作为天然的流量入口，在AI浪潮下又何去何从呢？

统一多层网关架构视频教程

网关演进形态之流量网关

典型代表：

典型代表：Nginx，首次公开发布时间2004.10.4

Who

运维

Why

业务的高可用、可伸缩、接入加速

How

负载均衡、健康检查、流控

、重试、TLS卸载、压缩、缓

存等

统一多层网关架构视频教程

网关演进形态之ESB网关

没有确切首次提出时间，大多数人认为2006年ESB被广泛讨论解决标准化和简化组织内服务之间的通信、消息传送和集成，遵循服务导向型架构（SOA）原则

没有确切首次提出时间，大多数人认为2006年ESB被广泛讨论

Who

运维、开发

Why

业务的快速集成、

提升开发效率、统一观测运维

How

SOAP协议、协议转换、路由、服务编排、认证授权等

统一多层网关架构视频教程

网关演进形态之微服务网关

典型代表：

典型代表：SpringCloudGateway，首次发布时间2018.10

Who

研发

Why

微服务API的聚合管理、API通用能力解耦

How

服务发现、RESTful路由、认证鉴权、扩展机制等

统一多层网关架构视频教程

网关演进形态之云原生网关

为什么容量评估复杂：典型ToC场景的大促特点与容量评估考量点原生容器化部署,支持Ingress/GatewayAPI,弹性扩容，解决网关运维中容量评估的魔咒大幅提升效率

为什么容量评估复杂：典型ToC场景的大促特点与容量评估考量点

Who

研发

Why

免运维、Ingress、GatewayAPI、API管理

How

K8sIngress、服务发现、RESTful路由

、认证鉴权、扩展机制等

典型代表：AWSAPIGateway、阿里云MSE云原生网关Serverless版

统一多层网关架构视频教程

网关的下一站：AI网关

提供AI插件集帮助开发者通过低代码方式高效构建AI应用

长连

长连接

AI

AI流量特点

大带

大带宽

高延

高延时

l

l常用Websocket与SSE长连接，要求配置更新对长连接无损

lAI请求数据量大，对带宽要求远超普通应用，需要流式传输和内存回收

l

lLLM推理响应RT高，容易被慢请求攻击，服务端开销大

不同场景下对于AI网关的诉求差异

LLM模型

LLM模型

AI平台

AI平台

?高性能，能够应对大流量AI请

求调度。

?长连接无损变更。

?流式传输。

?超大规模的路由配置。

?多租，基于Token的全局限流。

?基于Token的观测分析。

?基于Token的计量计费。

?安全认证与限流防护。

?API管理。

AI应用

AI应用

?AI应用为了保证可用率会对接多个模型，不同模型的协议存在差异，需要网关具备协议适配，即AIProxy。

?不同Model之间的fallback。

?基于语义相似度的Cache，降低

Token使用成本。

?敏感词过滤。

?PromptTemplate配置等。

?Transformer支持对LLM请求编排。

统一