Llmspeed 是一个新上线的本地大模型性能参考网站，帮助用户在购买硬件之前直观感受不同设备运行本地 LLM 的速度表现。网站提供两种浏览方式：按硬件浏览与按模型浏览。硬件方面覆盖当前主流消费级与专业级设备，包括 NVIDIA RTX 3090、4090、5090 等多款显卡，AMD RX 7900 XTX、RX 9070 XT 显卡与 Ryzen AI Max+ 395 处理器，Intel Arc Pro B70，苹果 Mac Studio 与 MacBook Pro 系列（M2 至 M5 芯片），以及 H100、A100、H200 等云端加速卡和纯 CPU 运行场景。模型方面收录 Qwen、GLM、GPT-OSS、Gemma、DeepSeek、Llama 等开源模型的不同参数规模版本，从 8B 到 120B 不等，同时涵盖稠密与 MoE 架构。网站展示的数值为单设备短提示词场景下的推理速度估算：实测数据来自社区基准测试（r/LocalLLaMA、localscore.ai 等），其余数据基于相似配置推导或按硬件规格推算。该项目已在 GitHub 开源，数据将持续依赖社区贡献完善。
事件分析
本地推理性能高度依赖显存容量、内存带宽与芯片架构，同一模型在不同设备上的速度差异可达数倍，硬件选型一直是本地部署社区的核心痛点。该项目将 r/LocalLLaMA 等分散的社区基准数据聚合为统一查询入口，显著降低了信息获取成本。从产业角度看，随着开源模型能力提升，以及 Apple Silicon 统一内存、AMD Strix Halo、NVIDIA DGX Spark 等新形态设备出现，端侧推理硬件市场正快速扩张，此类工具可能直接影响用户的购买决策路径，成为硬件营销与社区测评之间的中间层。后续走向方面，其数据准确性依赖社区众包，若能与 llama.cpp 等推理后端打通标准化实测接口，有望从静态参考表演进为实时基准平台；但推算数据与实测结果的偏差风险，也需要使用者自行甄别。
核心观点：本地大模型普及的瓶颈正从模型能力转向硬件选型，性能数据透明化将成为端侧 AI 生态的入口级基础设施。
原文链接：Hacker News
评论前必须登录！
立即登录 注册