本地密钥控制
提供商 API key、客户端 token、路由策略和审计记录留在自己的运行环境中。
适用场景
把 LLM 控制面留在自己的环境里。
AI Model Gateway 不是托管模型市场，也不只是请求转发代理。它更适合需要本地密钥、本地路由策略、本地遥测、可审计配置变更和回滚能力的团队。
模型路由与故障转移
用一个本地入口管理 OpenAI/Anthropic 兼容流量、提供商健康和 fallback 策略。
运维遥测
在 Admin UI 中查看流量、延迟、成本信号、请求日志、提供商健康、诊断和 replay。
安全变更流程
配置变更先预览、diff、验证、发布、审计，再按修订记录回滚。
最短验证
先用假上游验证故障转移路径。
仓库里的 provider fallback demo 会启动两个假的 OpenAI 兼容上游：主提供商返回 429，网关把请求转到 fallback provider，并记录 route_mode=model_fallback。
go test ./examples/provider-fallback -run TestProviderFallbackDemo -v
评估路径
按基础设施的方式评估，而不是只看代理转发。
- 判断匹配度。 确认自托管、本地密钥、本地遥测和配置审计是否是团队约束。
- 启动运行时。 使用 release 包或源码构建，启动 supervisor、data/control/telemetry 平面。
- 验证 fallback。 先对假上游跑故障转移 demo，再考虑真实 provider 策略。
- 检查运维面。 看配置发布、回滚、provider probe、诊断、日志和更新流程。
采用前检查
先看安装、质量和安全证据。
支持发现
确认适合后，再给项目一个 Star。
如果 AI Model Gateway 能解决你的自托管 LLM 路由、故障转移、遥测或配置回滚问题，GitHub Star 会帮助更多正在做类似基础设施的人看到它。