科技作家Aatish Bhatia与神经科学家Arkarup Banerjee联合发布交互式科普文章,通过构建名为spark的数字小生物,直观演示强化学习的核心原理。这个小生物的大脑仅有四个神经元:两个充当眼睛感知光线,两个控制鳍状肢运动,其神经连接可归纳为三个参数,同侧直连强度、对侧交叉连接强度以及无光环境下的驱动力。文章首先邀请读者亲手调节滑块来接线小生物的大脑,目标是让它喜爱并停留在光源处,得分超过0.5。随后作者将这一手动调参过程提炼为学习算法:每次试验前随机微调神经连接,若表现变好则获得奖励并沿该方向继续调整,若变差则受到惩罚并反向修正。作者指出这与人类学习走路、骑自行车的过程本质相同,摔倒即惩罚,平衡的快感即奖励。文章展示了小生物的学习轨迹:初始随机接线时只能原地打转,经过50次尝试后开始笨拙移动,250次尝试后已能趋向光源。这些学习路径被可视化为三维参数空间中的轨迹,生动呈现了机器如何通过不断试错自主学习复杂行为。
事件分析
核心观点:从四个神经元的试错到大模型的RLHF调优,智能的起点始终是同一个朴素机制:行动、反馈、修正。
原文链接:Hacker News

评论前必须登录!
立即登录 注册