推荐不精准怎么诊断?

回答与解析

一、核心指标体系：三层监控

关键发现：离线AUC高但在线CTR低 → 特征/样本分布漂移；CTR高但CVR低 → 排序目标与业务目标错位

二、四类诊断方法

1. 漏斗分析

• 曝光→点击→加购→支付，定位哪一步流失异常
• 例：点击率高但加购率低 → 详情页与推荐预期不符

2. Badcase 深度分析

• 随机抽样低分样本，人工标注错误类型：
  • 类目错配（推了T恤给找羽绒服的用户）
  • 价格错配（消费能力不匹配）
  • 时效错配（推了过季款）

3. 人群细分诊断

• 按用户分层：新用户/活跃用户/流失召回用户
• 按场景分：搜索推荐 vs 首页猜你喜欢 vs 购物车推荐
• 常见发现：新用户GAUC比老用户低15% → 冷启动策略失效

4. 对比实验（Hold-out）

• 保留旧模型流量作对照，排除外部因素（大促、季节）

三、快速定位决策树

在线指标异常？
├── 是 → 检查特征实时性、模型Serving延迟
└── 否 → 离线指标异常？
    ├── 是 → 样本偏差、目标函数设计问题
    └── 否 → 体验指标异常？→ 多样性/新颖性不足

学习建议

建议系统学习该知识点

口语版讲法(约4分钟)

• 本质是离线到在线的信号断裂
• 三层指标看问题：离线高在线低、CTR高CVR低、负反馈率
• 诊断方法：漏斗分析、人群细分、Badcase抽样
• 落地风险：对比实验前提、冷启动陷阱
• 收尾：我更倾向从负反馈入手

这道题本质是在问，离线指标和在线用户反馈之间的信号断裂怎么发现和定位。说白了，模型在离线测试集上AUC再高，上线后用户不买账，那就是精准度出问题了。

我会从三层指标来监控。第一层离线指标，像AUC、GAUC、NDCG，这些评估排序能力，但有个坑：离线数据是历史行为，有样本偏差，比如只曝光了用户可能感兴趣的商品，那些没曝光但用户更想要的，根本不在评估集里。第二层在线指标，CTR、CVR、人均点击数，这些是真实用户响应。第三层用户反馈，负反馈率、举报率、满意度调研，这些直接反映体验问题。

举个例子，离线AUC很高，但在线CTR一直上不去，那大概率是特征或样本分布发生了漂移，比如线上用户画像变了，离线训练数据没覆盖到。或者CTR高但CVR低，说明排序目标和业务目标错位了，用户点了但没转化，可能是商品详情页和推荐预期不符，或者价格、库存有问题。

具体诊断，我比较常用的是漏斗分析和人群细分。漏斗分析就是从曝光到点击到加购到支付，看哪一步流失异常。比如点击率高但加购率低，说明详情页内容或者商品信息没接住用户的预期，可能是图片和实物差距大，或者描述不准确。人群细分的话，我会按新用户、活跃用户、流失召回用户来拆，发现新用户GAUC比老用户低15%以上，那冷启动策略可能有问题，比如给新用户推的品类太窄，或者偏好没学够。

还有个很有效的办法是随机抽样Badcase，人工标注错误类型。比如给一个搜羽绒服的用户推了T恤，这是类目错配；给一个消费能力低的用户推了高价品，这是价格错配；推了过季款，这是时效错配。这些Badcase能直接指导特征或模型改进。

这里有个落地风险我必须提一下：做对比实验时，前提是保证其他因素不变，比如大促、季节、外部流量波动，否则归因会出问题。常见失败场景是，新模型上线后CTR涨了，但其实是当天有个大促活动，旧模型没跑完对比期就被下线了，导致误判。所以我一般会保留旧模型流量做Hold-out，至少跑一个完整业务周期。

另外，在线指标异常时，先别急着调模型，要检查特征实时性和模型Serving延迟。比如用户刚浏览了一个商品，推荐系统没及时更新特征，还是推旧的内容，那CTR自然会掉。很多精准度问题其实出在工程层面，不是模型本身。

还有一个延伸点：负反馈率这个指标，很多人只关注CTR，但其实负反馈率更能反映用户真实的厌恶程度。比如用户点了不感兴趣，或者举报了推荐内容，这些信号比单纯的未点击更有价值。我会把负反馈率作为核心监控指标之一。

所以整体上，我更倾向把精准度诊断看成从离线到在线的信号传递链条，哪一环断了就补哪一环。如果让我选一个最直接的抓手，我会先看负反馈率，因为那是用户在用脚投票。

关键一句:负反馈率比CTR更能反映用户真实厌恶，应作为核心监控指标。

面试官还可能这样问

1. 问法 1 · 场景切入

   假设你在做电商首页的猜你喜欢，用户反馈说推的东西都不想要。你一般怎么通过数据指标先快速判断推荐是不是真的不精准？

2. 问法 2 · 层层追问

   线上CTR突然掉了，你怎么排查？……可能先看哪些指标？……如果CTR正常但CVR低呢，问题可能出在哪？

3. 问法 3 · 直球架构

   在电商推荐系统中，如何设计一套诊断流程，从指标监控到badcase分析，来发现推荐不精准的问题？要包括离线、在线和用户反馈几个层面。