开源 LLM 网关 Squirrel:统一管理多模型服务,智能调度降低 API 成本

针对开发者在接入多家大模型 API 时面临的配置混乱、成本不透明及排查困难等痛点,开发者推出了开源项目 Squirrel。这是一个基于 Python (FastAPI) 和 Next.js 的 LLM API 网关,核心功能包括:通过模型映射实现一处修改全局升级,支持按价格自动切换最优供应商以降低成本,以及提供完整的请求日志与响应洞察。该网关兼容 OpenAI 和 Anthropic 协议,支持自动重试与故障转移,通过 Docker Compose 即可一键部署,助力企业高效管理 AI 基础设施。

原文链接:V2EX 分享发现

抢沙发

评论前必须登录!

立即登录   注册