腾讯混元Hy3实现极致压缩:2950亿参数模型单卡可跑

腾讯混元团队近日发布了旗下2950亿参数模型Hy3的1bit及4bit压缩版本,显著降低了超大规模模型的部署门槛。原版Hy3权重接近600GB,而全新的1bit版本体积缩减至85.5GiB,仅需一张96GB显存的英伟达H20显卡即可运行。尽管单卡运行需关闭部分加速功能并限制文本长度,但双卡部署可支持全速运行。4bit版本体积为169.9GiB,显存占用更高但在代码生成、工具调用、长文理解及Agent任务上表现更接近原始模型。性能方面,开启生成加速后,1bit版本速度提升约50%,4bit版本提升近60%。腾讯混元还推出了适合服务器部署的API版本,支持多用户并发调用,旨在通过极致量化技术推动大模型在更多场景下的落地应用。

事件分析

此次技术发布的最大看点在于1bit量化的工程化突破。将接近3000亿参数的模型压缩至85GB并能在单张H20上运行,展示了在不牺牲过多精度的前提下,通过极限压缩解决显存瓶颈的可能性。这一举措对于受到算力限制的开发环境尤为重要,它提升了H20等受限算力硬件的实用价值,使得单卡或少量显卡即可运行超大模型,大幅降低了本地化部署和私有化部署的成本。未来,模型压缩与低比特量化技术将成为大模型从云端走向边缘侧、从实验室走向行业应用的关键技术路径。

💡 核心观点:极致压缩技术打破算力壁垒,让千亿大模型真正实现“单卡可跑”,将加速大模型在边缘端的平民化落地。

原文链接:Linux.do

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册