LiquidAI推出专为端侧部署的LFM2.5系列模型,其1.2B参数版本性能媲美大模型。该模型在AMD CPU上解码速度达239 tok/s,移动NPU上达82 tok/s,内存占用低于1GB。模型基于28T令牌训练,支持llama.cpp等框架,并涵盖日文、视觉及音频多模态,展示了端侧AI的强大潜力。
原文链接:Linux.do
LiquidAI推出专为端侧部署的LFM2.5系列模型,其1.2B参数版本性能媲美大模型。该模型在AMD CPU上解码速度达239 tok/s,移动NPU上达82 tok/s,内存占用低于1GB。模型基于28T令牌训练,支持llama.cpp等框架,并涵盖日文、视觉及音频多模态,展示了端侧AI的强大潜力。
原文链接:Linux.do
评论前必须登录!
立即登录 注册