Llama.cpp针对Arm优化NEON内核，提示词处理速度提升6.5倍

开源大模型推理项目Llama.cpp近日合并了一项针对Arm架构的NEON内核优化，使提示词处理速度提升至原来的6.5倍。该优化由社区开发者贡献，通过重写Arm NEON向量化内核，大幅加速了大模型推理中的预填充阶段。提示词处理是推理流程的第一阶段，模型需要一次性读取用户输入的全部内容并构建KV缓存，这一阶段以矩阵乘法等计算密集型操作为主，性能瓶颈在于算力而非内存带宽。在长上下文、文档问答、Agent工作流等场景中，提示词处理往往占据整体响应时间的主要部分，其速度直接影响用户可感知的首字延迟。NEON是Arm平台的SIMD向量指令集，单条指令可并行处理多个数据元素。此次优化通过改进数据布局、循环展开和向量化指令调度，让矩阵运算更充分地利用了NEON的128位向量通道，从而在不依赖厂商专有库的情况下获得数倍加速。这项改进对在Arm设备上本地运行大模型的用户价值显著，覆盖Apple Silicon、骁龙、树莓派等广泛设备。该优化已进入Llama.cpp主线代码库，用户更新版本后即可受益。

事件分析

核心观点：端侧AI竞争正从硬件参数转向软件内核优化，纯代码层面的NEON调优即可释放数倍性能，开源社区成为推理效率的关键推手。