相比闭源模型无缝的 API 体验,开源大模型在工具调用上正面临严重的碎片化挑战。由于 DeepSeek、GLM、Gemma 等模型家族各自采用了互不兼容的“线缆格式”,导致 vLLM、llama.cpp 等推理引擎必须为每个模型单独编写解析器,引发了“M 种引擎 x N 种模型”的重复开发与维护噩梦。文章指出,缺乏统一标准使得通用解析器难以覆盖所有边缘情况,唯有建立类似聊天模板的、与代码解耦的声明式标准规范,才能将生态从无休止的逆向工程中解救出来。
原文链接:Hacker News
相比闭源模型无缝的 API 体验,开源大模型在工具调用上正面临严重的碎片化挑战。由于 DeepSeek、GLM、Gemma 等模型家族各自采用了互不兼容的“线缆格式”,导致 vLLM、llama.cpp 等推理引擎必须为每个模型单独编写解析器,引发了“M 种引擎 x N 种模型”的重复开发与维护噩梦。文章指出,缺乏统一标准使得通用解析器难以覆盖所有边缘情况,唯有建立类似聊天模板的、与代码解耦的声明式标准规范,才能将生态从无休止的逆向工程中解救出来。
原文链接:Hacker News
评论前必须登录!
立即登录 注册