AI 开发平台 Kapa.ai 公布了一种优化 RAG（检索增强生成）系统的新方法，旨在解决知识库庞大时检索上下文冗余带来的高成本和低效问题。传统的 RAG 流程通常依赖检索器找到相关片段，再由昂贵的大模型生成答案，但为了确保召回率，检索器往往返回过多包含噪音的片段，导致生成模型必须处理并忽略大量无关内容，增加了不必要的计算开支。Kapa 提出的方案是在检索和生成之间插入一个“剪枝器”步骤：使用一个廉价、快速的小型大模型，同时读取用户问题和所有检索到的片段，基于五级量表（从“至关重要”到“毫无关联”）对每个片段进行列表式评分。这种列表式评估不同于传统的逐点重排序，它能够识别片段之间的互补关系，从而在保持约 96% 召回率的情况下，成功丢弃约 68% 的上下文。实测数据显示，在扣除剪枝步骤本身的计算成本后，该策略将单次查询的综合成本降低了约 34%，且延迟增加控制在 1 秒以内。该技术目前已在 Kapa 的 Product Agent SDK 中默认启用。
事件分析
此项技术展示了从“单纯检索”向“理解检索结果集”的架构演进。传统 RAG 流程中的重排序模型通常独立评估每个文档片段，忽略了片段间的互补性，导致部分需要组合才能产生答案的信息被错误丢弃。Kapa 的创新在于引入了“列表式评估”，利用低成本模型对检索集进行整体逻辑判断，本质上是在生成前增加了一层低功耗的推理过滤。这标志着 RAG 优化进入精细化阶段，不再单纯依赖向量相似度，而是利用语言模型的逻辑理解能力来清洗输入。对于 AI Agent 产业而言，这意味着在多步骤调用中，通过牺牲微小的延迟换取显著的上下文空间节省，是实现复杂长链任务稳定性的关键路径。这种“小模型预处理，大模型最终生成”的分层协作模式，将成为未来降低大模型应用成本的主流范式。
💡 核心观点：RAG 优化的下一阶段不在于更精准的检索，而在于利用小模型对检索集进行逻辑剪枝，通过列表式评估大幅降低大模型推理成本。
原文链接：Hacker News
评论前必须登录！
立即登录 注册