本报告基于真实机实测数据，横向对比了RTX 3090 24G、RTX 4090 48G、RTX 5090 32G（工程机）及Tesla V100 32G四款显卡在运行Qwen 3.8-27B大模型时的性能表现。测试覆盖了Ollama、llama.cpp及vLLM三种主流推理框架，量化方式涵盖Q4_K_M、NVFP4及FP8，重点考察了32K至256K不同上下文窗口下的显存占用、Prefill及解码速度。
数据显示，RTX 5090凭借Blackwell架构新特性，在Ollama模式下跑满192K上下文可达52 tok/s，在vLLM模式下利用DFlashAttention 2技术可实现32K上下文170 tok/s的极速解码。然而，受限于32G显存，该卡在处理256K上下文时需进行Offload，性能大幅下降。RTX 4090凭借48G大显存优势，在192K长文本任务中仅占用49%显存，稳定性最佳，且配合vLLM在Prefill阶段表现优异，但在超长文本解码上存在Kernel瓶颈。RTX 3090仍是64K上下文场景下的高性价比选择，而Tesla V100虽可用但速度显著落后。
事件分析
本次实测揭示了下一代Blackwell架构在本地大模型推理领域的显著进步。RTX 5090通过架构升级（如NVFP4量化与DFlashAttention技术）大幅提升了推理吞吐量，证明了新架构在低精度计算下的效能优势。然而，32G显存配置在处理256K超长上下文时暴露出局限性，这表明在本地大模型部署中，显存容量与算力密度之间存在新的博弈点。
相比之下，上一代旗舰RTX 4090凭借大显存（48G）在长文本生产场景中仍保持极高实用价值。测试结果强调了软件栈优化的关键性：vLLM在5090上释放了极致性能，但在4090长文本场景下存在Kernel瓶颈。这反映出未来本地大模型体验不仅取决于硬件算力，更依赖推理框架对特定硬件架构的深度适配。
核心观点：5090算力释放极致但受限于显存带宽，大显存与推理框架的深度协同仍是长文本本地部署的硬通货。
原文链接：Linux.do
评论前必须登录！
立即登录 注册