揭秘 LLM 推理引擎内核：DeepSeek 贡献者详解 Nano-vLLM 架构与调度

本文由 DeepSeek 技术报告贡献者撰写，通过 Nano-vLLM（仅1200行代码）深入剖析了 vLLM 的核心原理。文章详细讲解了 LLM 推理的流水线架构，包括请求调度、Prefill/Decode 双阶段处理、批处理与延迟的权衡机制。重点介绍了 Block Manager 如何通过块哈希实现前缀缓存以复用计算，以及张量并行和 CUDA Graphs 优化 GPU 执行的细节。这是理解高性能 AI 推理引擎底层设计与资源管理的硬核技术指南。