DEMO · 配套实验

文章配套的交互实验,可以播放全过程,也可以逐步观察计算中数据的变化。

从零训练一个可对话的模型(基于MiniMind)六:从一句话到下一个词,拆开看 MiniMind 的计算过程配套实验

每个 Token 使用 4 维向量,以“小明把苹果放进书包,然后拿出苹果”为例,拆开查看词向量、RMSNorm、RoPE、注意力、FFN 和下一 Token 的预测。

这是手工权重的教学演示,不是训练完成的模型。

打开配套实验 →

从零训练一个可对话的模型(基于MiniMind)七:从预测到学习,拆开看 MiniMind 的训练循环配套实验

继续使用“小明把苹果放进书包,然后拿出苹果”的例子,逐步观察四维向量、预测概率、Loss、梯度、参数更新和梯度累积。

这是固定上下文向量的单参数训练实验,明确区分第六章的手工预测与第七章的训练数值,不是完整 MiniMind 模型的训练结果。

打开配套实验 →