Apache APISIX AI Gateway

面向 LLM 与 AI Agent 的开源 AI 网关

使用 Apache APISIX 构建开源 LLM 网关与代理，提供模型路由、负载均衡、重试、回退、token 限流、安全和可观测能力。

一个网关，两类流量

统一管理 API 与 AI 流量

在接入 LLM 流量的同时，继续使用团队熟悉的路由、安全、可观测和运维体系。

Apache APISIX

开源数据面、开放插件模型和可移植配置，同时服务 API 与 AI 工作负载。

100+

覆盖认证、流量控制、可观测、Serverless 和 AI 的插件。

负载均衡、回退、token 控制、RAG、提示词策略、内容审核和审计均以开源插件提供。

架构

为生产级 AI 流量而生

通过健康检查和权重负载均衡，在 OpenAI、DeepSeek、Claude、Mistral、Gemini 等模型提供商之间路由。

按 Route、Service、Consumer、Consumer Group 或自定义属性控制 token 消耗，支持单机与集群部署。

在网关层为模型请求连接企业知识库，生成有依据、具备上下文的响应。

通过访问日志和现有可观测工具追踪 token 使用，控制滥用和意外成本。

通过健康检查、自动重试和备用模型提供商，在上游模型故障时保持 AI 应用可用。

在流量到达模型之前应用提示词防护、装饰、模板、内容审核、日志和审计。

模型选择

使用 OpenAI、DeepSeek、Claude、Mistral、Gemini、自托管模型或多提供商组合，无需改变应用侧网关。