硬核致敬:在1989年的Mac上用HyperCard手搓Transformer神经网络

开发者Sean Lavigne在1989年的Macintosh SE/30上,完全使用HyperCard的脚本语言HyperTalk编写并运行了一个Transformer神经网络“MacMind”。这个仅有1216个参数的微型模型,通过自注意力机制和梯度下降,独立学会了快速傅里叶变换(FFT)中的位反转排列模式。该项目旨在打破AI技术的神秘感,证明支撑GPT-4等现代大模型的核心数学逻辑,在35年前的家用电脑上同样可运行、可解释,直观地展示了AI“引擎”的工作原理。

原文链接:Hacker News

抢沙发

评论前必须登录!

立即登录   注册