微软开源BitNet.cpp:CPU高效运行百亿参数大模型的新方案

微软正式开源1-bit大模型推理框架bitnet.cpp,旨在优化CPU上的本地模型部署。该框架最大的突破在于,使100B参数级别的巨型模型能够直接在CPU上高效运行,打破了必须依赖昂贵GPU集群的硬件壁垒。官方数据显示,该方案将推理速度提升了6.17倍,同时降低了82.2%的CPU能耗,未来用户或可在MacBook及普通服务器上流畅运行超大模型。

原文链接:Linux.do

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册