针对开发者在接入多家大模型 API 时面临的配置混乱、成本不透明及排查困难等痛点,开发者推出了开源项目 Squirrel。这是一个基于 Python (FastAPI) 和 Next.js 的 LLM API 网关,核心功能包括:通过模型映射实现一处修改全局升级,支持按价格自动切换最优供应商以降低成本,以及提供完整的请求日志与响应洞察。该网关兼容 OpenAI 和 Anthropic 协议,支持自动重试与故障转移,通过 Docker Compose 即可一键部署,助力企业高效管理 AI 基础设施。
原文链接:V2EX 分享发现

IT资源栈
评论前必须登录!
立即登录 注册