GPT-2 Forward Lab

GPT-2 前向传播实验台

GPT-2 的 forward 拆成了 17 步。建议看两遍:第一遍只看数学,弄清每一步在算什么;第二遍看代码,用一个缩小的模型把每一步真的算一遍,页面上每个格子都是真实算出来的数。键盘 ← → 可以切换步骤。

你的句子
词表(点击添加)
点句子里的词可以删掉它。最多 8 个 token(因为这个小模型的 n_positions = 8)。