用户对国产大模型IQuest-Coder-V1声称击败sonnet 4.5持怀疑态度,决定亲自测试。受限于本地显卡不足,通过Modal平台租用A100显卡进行部署。然而,因vllm框架尚未正式合并该模型,只能使用IQuestLab的pr分支,但编译过程失败。用户表示放弃尝试,期待社区分享成功案例,凸显国产AI模型落地面临的技术挑战。
原文链接:Linux.do
用户对国产大模型IQuest-Coder-V1声称击败sonnet 4.5持怀疑态度,决定亲自测试。受限于本地显卡不足,通过Modal平台租用A100显卡进行部署。然而,因vllm框架尚未正式合并该模型,只能使用IQuestLab的pr分支,但编译过程失败。用户表示放弃尝试,期待社区分享成功案例,凸显国产AI模型落地面临的技术挑战。
原文链接:Linux.do
评论前必须登录!
立即登录 注册