一款名为Hy-MT 1.8B的翻译模型因其极致的性价比引发热议。该模型通过1.25bit量化技术,将体积压缩至仅440MB,但在实测中,其加载速度与翻译质量在“沉浸式翻译”插件上均表现优异,甚至超越了谷歌翻译等云端大模型。即使换用体积更大的Q8版本,在配置较好的硬件上运行速度依然极快。这标志着在垂直翻译领域,极致量化的小参数模型已具备在边缘端挑战传统云端服务的实力。
原文链接:Linux.do
一款名为Hy-MT 1.8B的翻译模型因其极致的性价比引发热议。该模型通过1.25bit量化技术,将体积压缩至仅440MB,但在实测中,其加载速度与翻译质量在“沉浸式翻译”插件上均表现优异,甚至超越了谷歌翻译等云端大模型。即使换用体积更大的Q8版本,在配置较好的硬件上运行速度依然极快。这标志着在垂直翻译领域,极致量化的小参数模型已具备在边缘端挑战传统云端服务的实力。
原文链接:Linux.do
评论前必须登录!
立即登录 注册