开源项目waste利用NVMe直读技术，实现29GB内存运行2.78万亿参数Kimi K3

GitHub上的项目“waste”展示了一种创新的本地推理方案，旨在解决运行超大参数规模模型时的硬件瓶颈。该项目是一个完全由C语言编写、无外部依赖的嵌入式推理引擎，其核心技术在于通过直接从NVMe存储设备流式传输激活权重，从而突破了物理内存（RAM）的容量限制。

实测显示，利用该技术可以在仅配备29GB内存的系统上运行完整的Kimi K3模型。作为对比，Kimi K3拥有高达2.78万亿的参数量，按照常规做法通常需要数TB的显存或内存才能容纳。虽然目前该方案下的推理速度约为每秒0.5个token，但这在技术上证明了不依赖昂贵的高端GPU显存，仅靠通用硬件组件也能驱动最前沿的大模型，这为开发者和极客在有限预算下研究超大规模模型提供了宝贵的工具。

事件分析

💡 核心观点：利用存储带宽替代内存容量，该开源引擎让万亿级大模型“落地”消费级硬件成为现实。