GPT-2 Forward Lab

GPT-2 前向传播

把 GPT-2 的 forward 拆成 17 步:先看一遍数学,再看一遍代码,用 27 道选择题检查,面试前用速查表复习。

实验台

17 步,从 input_ids 到 loss。每一步都有公式推导和代码,代码部分用一个小模型算出真实数值。

第一遍:数学第二遍:代码
速查表

17 步一页看完:代码、形状、关键公式、要记住的一句话。可以遮住公式自测,也可以打印。

选择题

27 题,按实验台的顺序出。选完马上显示对错和原因,每题都能跳回实验台对应的那一步。