本文受统计力学中“负温度”概念启发,尝试在LLaMA模型中设置温度参数T=-0.001进行采样。作者阐述了Softmax函数与玻尔兹曼分布的数学联系,指出负温度在物理上代表高能态概率反转。实验结果表明,这种采样方式能极大抑制常见词汇,强制模型选择低概率token,从而生成极度怪异且意想不到的文本内容。
原文链接:Hacker News
本文受统计力学中“负温度”概念启发,尝试在LLaMA模型中设置温度参数T=-0.001进行采样。作者阐述了Softmax函数与玻尔兹曼分布的数学联系,指出负温度在物理上代表高能态概率反转。实验结果表明,这种采样方式能极大抑制常见词汇,强制模型选择低概率token,从而生成极度怪异且意想不到的文本内容。
原文链接:Hacker News
评论前必须登录!
立即登录 注册