谷歌新发现:简单重复提示词,低成本提升大模型性能

谷歌研究团队最新论文指出,在不要求模型进行逐步推理的场景下,简单地将用户输入的提示词重复一遍,即可显著提升主流大语言模型的性能。该技巧利用注意力机制,通过重复输入让前半部分token能“看到”后半部分内容,从而获得更全局的上下文信息,解决因果模型的信息顺序限制。由于重复操作在预填充阶段完成,该方法不增加生成内容的长度或延迟,且兼容现有系统,是一种低成本、高效率的性能优化方案。

原文链接:Linux.do

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册