AI 研究者 Aran Komatsuzieri 的一项对比实验揭示了主流大模型在处理不同语言时的成本差异。通过将同一文本输入 OpenAI、Claude、Qwen 等模型,发现 Claude 处理中文的 Token 消耗量比英文基准高出 65%,远超 OpenAI 的 15%,在对比模型中垫底。相反,Kimi 和 Qwen 等国产模型处理中文的效率甚至高于英文。这表明分词效率取决于训练数据中的语言占比,中文用户在使用 Claude 时不仅 API 成本更高,还面临推理速度变慢和上下文窗口浪费的问题。
原文链接:Linux.do

IT资源栈
评论前必须登录!
立即登录 注册