一位使用 Newapi 自用模式的开发者提出,面对硅基流动、OpenRouter 等众多第三方渠道及海量模型,手动维护模型重定向过于繁琐。他希望实现将不同渠道中的特定模型(如 DeepSeek、GPT、Gemini)聚合为一个统一名称(如 translate),并根据权重进行负载均衡。目前 Newapi 的模型管理页面似乎不支持此功能。该用户询问官方是否有相关开发计划,或是否有其他开源工具支持此类一对多聚合及负载均衡功能,以解决多模型管理难题。
原文链接:Linux.do
一位使用 Newapi 自用模式的开发者提出,面对硅基流动、OpenRouter 等众多第三方渠道及海量模型,手动维护模型重定向过于繁琐。他希望实现将不同渠道中的特定模型(如 DeepSeek、GPT、Gemini)聚合为一个统一名称(如 translate),并根据权重进行负载均衡。目前 Newapi 的模型管理页面似乎不支持此功能。该用户询问官方是否有相关开发计划,或是否有其他开源工具支持此类一对多聚合及负载均衡功能,以解决多模型管理难题。
原文链接:Linux.do
评论前必须登录!
立即登录 注册