搜索排序权重怎么A/B测试?
实验设计与指标监控关键点,动态优化多因素权重
原题：如何设计A/B测试来评估并动态优化搜索排序中各因素的权重？请说明实验设计与指标监控的关键点。
评估与监控 · OPPO真题
回答与解析
核心设计思路
搜索排序权重优化的A/B测试，本质是在线学习+因果推断的结合。关键要解决：流量怎么分、权重怎么调、效果怎么看。
一、实验设计要点
分层流量隔离
- 用户维度哈希分桶（如user_id % 100），确保同一用户始终在同一桶
- 层间正交：权重实验层、UI实验层、召回实验层互不干扰
对照组设置
- 基准组：线上现行权重
- 实验组：待验证的新权重（可设多组，如3-5组不同权重组合）
样本量与时长
- 用MDE（最小可检测效应）反推样本量，通常需万级DAU、1-2周
- 避开节假日/大促，保证流量平稳
二、权重动态优化机制
多臂老虎机（MAB）探索
- 初期ε-greedy或Thompson Sampling快速探索
- 后期收敛到最优权重，减少流量浪费
Contextual Bandit进阶
- 按用户画像/查询意图分群，不同群体用不同权重
- 特征：用户活跃度、查询长度、历史点击类目
在线学习更新
- 每小时/每天根据实时反馈微调权重，但需加约束防止抖动
三、指标监控体系
| 层级 | 指标 | 用途 |
|---|---|---|
| 短期 | CTR、CVR、人均点击数 | 快速验证 |
| 中期 | 会话深度、搜索成功率 | 体验质量 |
| 长期 | 7日留存、搜索频次 | 业务价值 |
| guardrail | 延迟P99、空结果率 | 稳定性兜底 |
关键动作
- 实时看板+自动告警，核心指标跌超5%自动熔断
- 多重检验校正（Bonferroni或FDR），防止假阳性
四、决策与迭代
- 实验组统计显著+业务显著才全量
- 保留5%流量长期对照，监控长期效应
- 权重全量后，沉淀为新基准，开启下一轮实验
学习建议
建议系统学习该知识点
口语版讲法(约4分钟)
- 本质是动态调权与因果推断结合
- 流量分层与实验设计
- 权重动态优化：从MAB到Contextual Bandit
- 指标监控与熔断
- 决策与迭代，给出可延伸点
这道题我觉得核心是在问一个很实际的问题：怎么在线上用实验来动态调整搜索排序里各个因素的权重，同时保证效果和稳定性。本质上它是在解决两个东西的结合，一个是在线学习，比如多臂老虎机这种探索利用机制，另一个是严格的因果推断，也就是怎么通过A/B测试来验证权重变化到底有没有用。
先说一下实验设计。一个关键点是流量怎么分。我倾向用用户维度的哈希分桶，比如user id取模100，确保同一个用户始终落在同一个实验组，这样用户体验一致。而且不同实验层之间要正交，比如权重实验层和UI实验层得互不干扰，不然效果混在一起没法归因。
对照组呢，基准组就用线上现行权重，实验组可以设三到五组不同的权重组合。样本量的话，得根据最小可检测效应来反推，通常需要万级DAU跑一到两周，而且得避开大促和节假日，保证流量平稳。
再来说权重怎么动态优化。初期我会用多臂老虎机，比如ε-greedy或者Thompson Sampling，快速探索哪些权重组合好。但这里有个坑：不同用户群体可能对权重的偏好不一样，比如新用户更看重相关性，老用户更看重时效性。所以进阶一点，我会用Contextual Bandit，按用户画像和查询意图分群，不同群体用不同的权重。特征是用户活跃度、查询长度、历史点击类目这些。
但光有探索还不够，还得在线学习，每小时或每天根据实时反馈微调权重。不过这里有个风险，权重抖动太大会让排序不稳定，用户会觉得结果忽好忽坏。所以上线前我会特别关注加一个约束，比如权重变化不能超过5%，防止抖动。
指标监控这块，我会分三层。短期看CTR、CVR、人均点击数，快速验证效果；中期看会话深度和搜索成功率，判断用户体验有没有变好；长期看7日留存和搜索频次，衡量业务价值。另外还有guardrail指标，比如延迟P99和空结果率，跌超5%自动熔断，防止线上事故。
这里我想提一个延伸点：多重检验校正。实验组一多，假阳性概率会上升，所以我会用Bonferroni或FDR校正。但校正太严又可能漏掉真实效果，怎么平衡其实挺值得深挖的。
最后决策上，实验组得统计显著而且业务显著才全量。全量后我会留5%流量长期对照，监控长期效应，因为有些效果短期看不出来。权重全量后沉淀为新基准，开启下一轮实验。所以我会把这个过程看成是一个持续迭代的闭环，而不是一次性的优化。
关键一句:多重检验校正的平衡问题：实验组一多假阳性上升，但校正太严可能漏掉真实效果。
面试官还可能这样问
- 问法 1 · 场景切入
假设你在做电商搜索排序，现在想调高“销量”的权重，同时看看“用户评分”要不要降一点，你会怎么设计A/B实验来验证这个新权重组合？
- 问法 2 · 层层追问
搜索排序的A/B测试你一般怎么分流量？……那如果权重不是固定的，而是想每天根据用户反馈动态调优，实验设计上需要额外注意什么？……具体怎么平衡探索新权重和利用当前最优？
- 问法 3 · 直球架构
设计一个A/B测试框架，用于评估并动态优化搜索排序中多个因素的权重。请说明流量分桶、对照组设置、权重动态调整机制（比如多臂老虎机）以及核心监控指标和熔断策略。