Makemore 反向传播与神经网络
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_1a99cb00/makemore。
技能介绍
要弄清什么问题
很多人读 Transformer 论文或框架文档时,只记住了 nn.Module 和优化器 API,却对反向传播如何穿过计算图、训练/验证/测试划分为何影响泛化、字符级语言模型与 MLP/CNN 的关系仍然模糊。若你最终要改模型结构或 debug 梯度,缺的是从标量链式法则到 torch.Tensor 上实际训练的一条连贯路径,而不是再堆一层高层教程。
技能如何组织学习路径
本技能对应 Andrej Karpathy Neural Networks: Zero to Hero 的核心脉络(以 makemore 仓库为主线):
- micrograd:用最小示例把反向传播与训练循环讲到可手推、可对照实现。
- makemore Part 1~2:从 Bigram 字符模型入手,引入
torch.Tensor,再扩展到 MLP 与数据集划分。 - makemore Part 3~4:集中讲激活函数、梯度、BatchNorm,并从零实现反向传播(手工梯度),用于校验自动微分是否理解正确。
- makemore Part 5:用 WaveNet 风格 CNN 做语言模型,把「序列 + 卷积」与前面 MLP 脉络衔接。
技能侧的价值在于:当你问「这一课在练什么」「Part 3 和 Part 4 差别在哪」「语言模型为何是入门深度学习的好入口」时,助手能按课时表对齐讲解,而不是泛泛介绍深度学习。
适用边界与注意点
- 前置:需要能写 Python;数学到导数、高斯分布即可,不要求已有深度学习项目经验。
- 不替代:官方视频与仓库代码仍是主教材;技能适合导航大纲、澄清概念、对照课时提问,不能代替你自己跑训练和改代码。
- 目标延伸:课程重心在经典小模型与反向传播;若要直接上手大模型微调或分布式训练,需在此之后另选专题。
使用场景
- 刚看完 micrograd 视频,要在本地对照讲义弄清 `Value` 节点与反向传播队列的执行顺序
- 按 makemore Part 2 划分训练集后,验证损失明显高于训练损失,需要厘清划分方式与过拟合信号
- 读 Transformer 前想先搞懂 Bigram/MLP 字符模型,向助手对照 Part 1~3 的代码结构与损失定义
- 面试前复习「手写反向传播」与 BatchNorm 在训练/推理时的行为差异,按 Part 3~4 提纲自测
适合人员
- 能写 Python、准备系统学神经网络的数据分析师,希望用字符语言模型而非图像分类作为第一门课
- 公司 AI 培训负责人,需要按课时表给新人讲解 micrograd 到 makemore 的递进关系
- 读过框架文档仍会困惑梯度消失/激活函数选择的工程师,想按 Part 3 深度解析对照实验设定
- 计划Contributing 到开源训练代码的在校生,要先在 Part 4 手工梯度作业里验证自己对计算图的理解