推荐系统实战教练

要解决的问题

很多推荐项目一上来就讨论 LightGCN、Transformer，却跳过了最基础的一步：先建一个简单、可解释的基线。于是出现三类典型故障：

• 离线指标涨、线上没反应：把 Precision@k、NDCG 当成线上效果，忽略二者的评价口径完全不同。
• 切分与指标各自出错：训练时引入时间泄露，再用错误的 k 算指标，甚至出现 NDCG > 1 的假阳性。
• 没有基线就上复杂模型：新模型到底比 SAR / ALS 好多少，没人说得清。

技能如何工作

本技能围绕三条硬原则展开：

• 基线优先：无论最终采用什么模型，先跑通 SAR / ALS，复杂模型只用来打基线并报告增量。
• 口径分离：离线指标与线上点击/留存分开评估，所有推荐问题都建立在正确切分之上。
• 信号驱动选型：根据数据形态做判断，例如只有隐式反馈时用 BPR 或序列模型，强时效场景用 GRU4Rec / VAE，冷启动用户优先加兜底策略。

具体流程如下：

1. 先用 MovieLens 100k 对齐官方 quickstart 的预期数字，确认链路可用。
2. 线上表现异常时立即降级回 SAR 基线，排查数据、打分、服务哪一环出了问题。
3. 按「先查切分有无泄露，再查指标定义，最后怀疑模型」的顺序逐层定位，而不是反复调参。
4. 记录每个模型相对基线的离线 Δ 与线上 Δ，作为后续决策依据。

适用边界

推荐效果受业务场景、数据质量和流量策略影响，本技能不承诺「上模型必涨」，也不提供刷量或作弊式优化手段。涉及用户隐私数据时，须遵循所在平台的合规与监管要求。