Agent Skills
返回列表
🎓

Makemore 反向传播与神经网络

教育学习 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_1a99cb00/makemore。

技能介绍

要弄清什么问题

很多人读 Transformer 论文或框架文档时,只记住了 nn.Module 和优化器 API,却对反向传播如何穿过计算图、训练/验证/测试划分为何影响泛化、字符级语言模型与 MLP/CNN 的关系仍然模糊。若你最终要改模型结构或 debug 梯度,缺的是从标量链式法则到 torch.Tensor 上实际训练的一条连贯路径,而不是再堆一层高层教程。

技能如何组织学习路径

本技能对应 Andrej Karpathy Neural Networks: Zero to Hero 的核心脉络(以 makemore 仓库为主线):

  • micrograd:用最小示例把反向传播与训练循环讲到可手推、可对照实现。
  • makemore Part 1~2:从 Bigram 字符模型入手,引入 torch.Tensor,再扩展到 MLP 与数据集划分。
  • makemore Part 3~4:集中讲激活函数、梯度、BatchNorm,并从零实现反向传播(手工梯度),用于校验自动微分是否理解正确。
  • makemore Part 5:用 WaveNet 风格 CNN 做语言模型,把「序列 + 卷积」与前面 MLP 脉络衔接。

技能侧的价值在于:当你问「这一课在练什么」「Part 3 和 Part 4 差别在哪」「语言模型为何是入门深度学习的好入口」时,助手能按课时表对齐讲解,而不是泛泛介绍深度学习。

适用边界与注意点

  • 前置:需要能写 Python;数学到导数、高斯分布即可,不要求已有深度学习项目经验。
  • 不替代:官方视频与仓库代码仍是主教材;技能适合导航大纲、澄清概念、对照课时提问,不能代替你自己跑训练和改代码。
  • 目标延伸:课程重心在经典小模型与反向传播;若要直接上手大模型微调或分布式训练,需在此之后另选专题。

使用场景

  • 刚看完 micrograd 视频,要在本地对照讲义弄清 `Value` 节点与反向传播队列的执行顺序
  • 按 makemore Part 2 划分训练集后,验证损失明显高于训练损失,需要厘清划分方式与过拟合信号
  • 读 Transformer 前想先搞懂 Bigram/MLP 字符模型,向助手对照 Part 1~3 的代码结构与损失定义
  • 面试前复习「手写反向传播」与 BatchNorm 在训练/推理时的行为差异,按 Part 3~4 提纲自测

适合人员

  • 能写 Python、准备系统学神经网络的数据分析师,希望用字符语言模型而非图像分类作为第一门课
  • 公司 AI 培训负责人,需要按课时表给新人讲解 micrograd 到 makemore 的递进关系
  • 读过框架文档仍会困惑梯度消失/激活函数选择的工程师,想按 Part 3 深度解析对照实验设定
  • 计划Contributing 到开源训练代码的在校生,要先在 Part 4 手工梯度作业里验证自己对计算图的理解