易安的文章

Self-Attention 为什么成了 Transformer 的核心机制-IT资源栈

Self-Attention 为什么成了 Transformer 的核心机制

软件模型有过一个很长的阶段:它们能读句子,却不太会“理解句子”。问题不在词表,也不完全在参数规模,而在于早期模型看待语言的方式太像流水线——前一个词处理完,才能轮到后一个词。这样一来,句子一长,前面的信息就会慢慢变模糊。 这就是我看完这期视频后最想记住的一点:Transformer 真正改变局面的地方,不是简单把模型做

赞(0)易安易安架构 阅读()