Qwen小模型本地翻译横评：16G显存可跑4B模型，LM Studio部署避坑指南

Linux.do社区用户发布了一篇关于本地部署Qwen系列小模型执行翻译任务的测评文章。作者围绕准确性优先的原则，设计了客观与主观相结合的评价体系：客观部分将各模型的中译英结果交由GPT评分，主观部分则公开全部翻译内容供读者自行比对语言风格。测试在9700X处理器、32G内存、5060Ti 16G显卡、Windows 10环境下进行，部署软件选用LM Studio。共测试六款模型，结果显示耗时与显存占用基本和翻译质量正相关。其中qwen2.5-1.5b-instruct速度最快，吞吐量达6.63，显存峰值约2322MB；qwen3.5-4b质量领先但速度最慢，吞吐量2.61，显存峰值约4630MB，整体呈一分钱一分货的规律。作者特别指出不推荐使用Ollama部署，原因是Qwen模型尤其是小参数版本容易进入思考死循环，而Ollama在被API调用时无法关闭思考模式；LM Studio则可通过在模版顶部添加一行设置关闭思考。文章还提供了完整部署教程：在LM Studio中下载模型、关闭思考模式、启动本地服务器（默认地址127.0.0.1:1234），再在沉浸式翻译插件中添加自定义翻译服务并复制模型标识符即可使用。测试集选取自社区不同类别的热门话题，测试平台基于站内开源项目魔改。作者同时说明本次仅覆盖Qwen系列小参数模型，站内术语整理仍是待解决的难题。

事件分析

核心观点：小模型加本地部署正把AI翻译从云端订阅拉回个人电脑，隐私、成本与可控性成为开源生态对抗云服务的新筹码。