识别样本污染的核心动作不是看总转化率升降,而是先确认同一实验单元是否被多个版本重复触达。假设你正在把旧落地页换成新版,同时保留旧表单和旧客服组件,若同一访客先看到A版再看到B版,后续转化会被记到错误的版本上,此时总转化率的变化不能直接归因于任何一版。
样本污染的前提是“同一单元多次进入不同分组”。在百度推广场景里,这个单元通常由设备标识、登录账号或Cookie与推广链接参数共同决定。你需要先写清分桶依据,而不是先看报表。若分桶依据是Cookie,但部分流量来自无Cookie环境,同一人可能被重新分配;若依据是账号,未登录访客又无法归入同一单元。判定单元一旦模糊,后面所有版本对比都失去意义。
一个可执行的动作是:在分流入口记录每个访客被分配到的版本标识,并保留该标识到转化回传环节。做完这一步,你才能在下游报表中检查同一访客是否出现两个版本标识。若出现,说明污染已经发生,下一步应暂停版本对比,而不是继续加大投放预算。
假设情境:某账户把旧落地页的在线咨询组件保留到新版页面底部,同时新版页面顶部启用了新表单。推广链接仍指向旧路径,由前端脚本按随机数决定展示A版或B版。运营发现新版转化率略高,准备全量切换。
此时先不要接受结论。检查三件事:第一,旧咨询组件是否在新版页面里仍然可用,并且它的提交事件是否仍回传到旧版本的转化标识;第二,用户从百度推广点击进入后,是否会因为页面内跳转或返回操作再次触发分流脚本;第三,转化回传时携带的是当前页面版本,还是首次进入时的版本。只要其中一项把“当前版本”当作“首次版本”,A版访客的转化就可能被记到B版头上。
该情境下的实际动作是:在转化回传参数中增加首次分流标识,并让旧组件提交时也读取该标识。执行后如果同一标识下不再出现两个版本,样本污染基本被切断;如果仍然出现,说明还有别的入口在重新分桶。
第一类证据是分流日志与转化日志能否按同一访客标识对齐。对齐失败说明标识链路断裂,不能靠报表差值反推原因。第二类证据是版本标识在转化事件中的分布:如果某个版本标识出现在本不该属于它的流量来源或页面路径上,就是污染信号。第三类证据是时间顺序:同一访客先出现A版后出现B版,且转化发生在B版之后,这条链只能说明顺序,不能单独证明B版更好。
需要说明的是,第三方估算流量、百度推广后台报告与站内统计口径不同,三者对同一访客的计数方式可能不一致。某项统计归零或转化数下降,也可能是回传延迟、过滤规则调整或统计口径变化导致,不能单独用来证明分流处理正确。诊断时要保留原始日志,而不是只看汇总指标。
旧内容、旧系统或旧合作关系需要退出时,可以保留仍然有价值的部分,但必须切断它对分桶和回传的干扰。具体判断如下:
完成上述区分后,下一步是重新跑一轮小流量对比,并只观察同一访客标识下是否出现跨版本转化。若不再出现,才可以把对比结果用于决策;若仍出现,应继续缩小保留范围,而不是直接全量切换。
为了让识别不依赖个人记忆,可以在每次版本切换前固定执行:确认分桶依据、确认转化回传携带首次版本标识、确认旧组件不会重新分桶、确认日志能按同一访客标识对齐。四个检查点中任意一个不成立,就先不解读转化率差值。这样做的结果是把“样本是否干净”变成可验证的前置条件,而不是事后争论的结论。