为什么我还是无法理解transformer?

2025-06-24 17:20:13

不要想的太过复杂,就只有随机数生成的三个矩阵,原始输入已经通过矩阵相乘关联在三个随机数矩阵中,再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵,再和另外一个随机数矩阵进行线性的代数变化即可。

反向传播更新的是这三个矩阵的权重,三个矩阵的维度设计也是为了符合线性代数的运算。

总之这个就是一个巧妙的线性代数游戏,没有什么复杂的逻辑问题。

为什么我还是无法理解transformer?
广告位810*200
相关阅读
为什么Rust的包管理器Cargo这么好用?

为什么Rust的包管理器Cargo这么好用?

好用,指 request 被一个死了九年的包占用。 新来的...

2025-06-21
有没有一款音乐播放器,能连接nas音乐,创建音乐库,自动匹配歌词封面等等?类似infuse的概念呢?

有没有一款音乐播放器,能连接nas音乐,创建音乐库,自动匹配歌词封面等等?类似infuse的概念呢?

听歌不用会员 畅听全网歌曲 GitHub超火的开源软件 音流...

2025-06-21
如何评价电视剧《长安的荔枝》27-28集?

如何评价电视剧《长安的荔枝》27-28集?

在笔者看来,这段关于十七娘的倒叙,可以称得上《长安的荔枝》中...

2025-06-21
golang总体上有什么缺陷?

golang总体上有什么缺陷?

没什么缺陷,唯一的缺陷就是喜欢动态化的魔怔人太多,当然官方特...

2025-06-21
以色列为什么突然敢打伊朗了?不怕被报复?

以色列为什么突然敢打伊朗了?不怕被报复?

真相有可能是再不打就来不及了。 归根结底,以色列太小了,没...

2025-06-21