Agent Skills
返回列表
Transformer 论文知识库

Transformer 论文知识库

知识管理 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md 的指引，安装 @user_a735fb41/yyjnnn 到你的 AI 助手中。

技能介绍

解决什么问题

当你需要向团队解释 Transformer 架构，或在实现自定义注意力层时，常常会面临一个痛点：重新推导公式和查阅原始论文极其耗时。尤其是面对 Scaled Dot-Product Attention、Multi-Head Attention 等核心机制，以及复杂的超参数配置（如 base 和 big 模型）时，记忆和核对成本很高。

技能如何工作

这个知识库技能直接封装了 Vaswani 等人在 NIPS 2017 发表的经典论文。它不仅提炼了架构核心，还按层级拆解了推理逻辑：

  • 核心概念与公式：提供完整的 LaTeX 格式关键方程，涵盖自注意力、多头注意力和位置编码。
  • 架构与超参数：明确了编码器和解码器的 6 层结构，以及 d_model = 512 等关键维度。
  • 深度参考资源：当需要具体细节时，技能会引导加载 references/paper-notes.md 或直接引用打包的原始 PDF assets/attention-is-all-you-need.pdf。

适用边界与注意点

该技能专注于提供准确的概念解释、公式推导和基准测试数据（如 WMT 2014 翻译任务的 BLEU 分数）。它并非用于自动生成模型权重的代码脚手架。在实现具体框架（如 PyTorch 或 TensorFlow）的底层算子时，仍需结合实际的库文档进行调试。此外，公式提取虽然准确，但在跨页或复杂数学排版的推导中，建议结合原始论文查阅。

使用场景

  • 在实现自定义 Transformer block 时，需要查阅多头注意力的精确公式和维度参数。
  • 团队讨论时，需要快速引用 WMT 2014 翻译任务的 BLEU 基准分数和训练成本对比。
  • 在学习自注意力机制时，需要对比 RNN 与 Transformer 在长距离依赖和并行化上的计算复杂度。

适合人员

  • 正在复现经典论文的算法工程师，需要快速获取 Transformer 的精确公式与超参数配置。
  • 准备技术分享的技术博主，需要提取论文中的架构图说明和基准测试数据来制作幻灯片。
  • 学习深度学习的研究生，在写代码实现位置编码时，需要查阅原始论文中的正余弦公式。