研究方法 / 方法前沿

A/B 测试的效应会随时间变化

网站 A/B 测试示意图:只在按钮设计上不同的两个网页版本并排展示,并分别标出各自的点击比例

网站 A/B 测试的常见示意:两组访客分别看到只在“Learn more”按钮样式上不同的页面,图中 52% 与 72% 的点击率为示例数字,并非真实实验结果。作者:Maxime Lorant,来源:Wikimedia Commons,许可:CC BY-SA 4.0(已转换格式)。

2026 年 10 月 23 日,Andrew Gelman 在博客转述了实验工具开发者 Andrea Bronzini 的观察:A/B 测试的胜出方案上线后,提升常常缩水。Bronzini 认为,很多用户先见过旧版才被分组,实验测到的多是对“变化”的反应。Gelman 认可这一问题,并把它归为更一般的情形:处理效应会随时间变化,并取决于整段处理历史。

Gelman 博文的判断与建议

这篇博文篇幅很短,核心是一封读者来信加 Gelman 的回复。Bronzini 在信中说,他在开发实验工具时反复看到一种失败模式:A/B 测试中“赢了”的方案,推广到全部用户后提升随之流失。他的解释是,常见的实验设置把“新奇反应”和“稳态效应”混在了一起,因为分组发生在用户第一次接触被测内容之后,而结果指标本身又随时间变化。

Gelman 的回复有三层意思。第一,他认为 Bronzini 指出的是真实问题。第二,这个问题是更一般现象的特例:处理效应可以随时间变化,也可以取决于用户经历过的整段处理历史,而通常的组间比较忽略了这一点。第三,他推测(原文用的是“I guess”)最终更好的办法是把这些变异来源纳入模型。博文没有给出具体模型、数据或案例,只附上他的演讲《It’s About Time》作为延伸阅读,并说明该演讲尚未写成论文。

这场演讲的摘要于 2024 年 1 月 3 日发在同一博客上,主张把时间作为统计分析中的一个因素,列举的场景包括因果推断中的不平衡、即使组间平衡时 A/B 测试结论的推广、序贯分析、处理前测量的调整和民调汇总等。也就是说,“上线后提升消失”在 Gelman 看来只是时间维度被忽略的一种表现。

首次曝光污染与首次曝光随机化

Bronzini 所指的文章是他 2025 年 12 月 15 日首发、12 月 17 日更新的《The First-Exposure Contamination Problem》,作者自称“方法论随笔”,发布在其公司网站上,文中未见同行评审信息。文章区分了两个量:稳态处理效应(SSTE),指用户适应新版之后的长期差异,也是决策者真正想知道的;新奇反应效应(NRE),指已经熟悉旧版的用户遇到改动时的反应。作者强调,NRE 的方向和大小因场景而异,可能加速转化,也可能推迟或压低转化。

问题出在顺序上。多数实验在用户到达某个页面或触发某个组件时才分组,但不少用户在此之前已多次见过对照版。打个比方:一家餐厅换了新菜单,老顾客的第一反应可能是好奇,也可能是找不到常点的菜,这和新顾客第一次就看到新菜单时的反应并不相同(比喻为本文所加)。实验若在老顾客进门后才分组,比较的其实是“作为改动出现的 B”和“已经习惯的 A”,而不是两个版本各自的首次体验。

作者还从“转化所需时间”的角度解释为什么早期结果更容易被新奇反应主导:老用户已经在决策路径上走了一段,离转化更近,因此在实验早期的转化里占比偏高,这与他们在流量中的占比无关。文中给了一个示意性算例:销售周期平均 8 周、标准差约 2 周,转化率 2%,每周 1 万访客,实验跑 4 周,共约 4 万访客、800 次转化。按近似正态分布,从首次访问到转化不超过 4 周的转化不到约 3%,绝大多数转化来自实验开始前就已来访的用户。4 周恰好比均值低 2 个标准差,对应的比例约为 2.3%。

正态分布钟形曲线按每个标准差分段着色,各段标出 34.1%、13.6%、2.1%、0.1% 的面积比例

正态分布按标准差分段的面积比例。套用白皮书的示意参数(首次访问到转化平均 8 周、标准差 2 周),横轴的 −2σ 对应 4 周,其左侧两段合计约 2.2%(图中数字经四舍五入,精确值约 2.3%),即首访到转化不超过 4 周的转化份额;参数为假设,非实测数据。作者:M. W. Toews,来源:Wikimedia Commons,许可:CC BY 2.5(已转换为位图)。

据此,白皮书认为上线后提升消失常被误诊为“回归均值”:实验期间的估计可能既精确又稳定,变化的不是抽样误差,而是要估计的对象本身。作者提出“首次曝光随机化原则”:只纳入首次进站时间晚于实验开始时刻的用户,实现上只需一个首访时间戳,通常存放在 cookie 里;对销售周期长的业务,再配合队列入组,即设定入组窗口,向这批用户持续投放超过典型销售周期的时间,窗口之后进来的用户不再纳入。作者也承认,清除 cookie、多设备访问会把老用户误判成新用户,但认为这种误差大体在两组之间对称。

与常规功效计算的冲突

Gelman 的博文没有讨论功效计算,以下是本文结合两份材料的整理。常规的功效计算先设定基线转化率、最小可检测效应、显著性水平和目标功效,算出所需样本量,再按日流量折算运行天数。这套算法隐含一个前提:要估计的效应是一个固定的数,误差只来自抽样噪声,样本越多估计越准。

如果效应随时间和曝光历史变化,这个前提就不成立。白皮书明确写道,在首次曝光污染下,增加样本量并不能找回正确的效应;上线后提升消失也不是统计功效不足造成的。样本量能压低方差,却纠正不了估计对象的错位。好比用一台很精准的秤去称一个装错了货的箱子,秤再准,读数也不是你要的那个重量。

放回 8 周算例里看,冲突更直观:一次功效计算可能认为 4 周、800 次转化已经足够,但其中能反映稳态效应的只有几十次。若按白皮书的建议只用“干净”队列,又必须把实验拉长到超过销售周期,同时可用样本大幅缩小。设计时需要在运行时长、有效样本和估计对象之间重新取舍,而只针对一个固定效应的功效公式并不处理这一层。

两位作者指向的出路也不同。Bronzini 走设计路线,靠限定入组人群直接识别稳态效应;他在结论中承认,延长运行或使用动态模型在附加假设下也可能逼近稳态效应,但认为首次曝光随机化是不依赖习惯化假设的最低设计条件。Gelman 则倾向建模路线,把时间和处理历史作为变异来源写进模型。

证据范围与待解问题

阅读时需要区分几层说法。Gelman 的认可是概括性的,他说的是 Bronzini“指出了真实问题”,并没有逐条背书白皮书中“传统实验大多测到的是新奇反应”之类的判断。白皮书的算例和示意图使用的是作者设定的参数,不是真实实验的数据,文中也没有公开数据集;新奇反应在具体业务中有多大,作者自己也说需要逐案量化。

另一个问题与人群差异有关(本段为本文分析)。只纳入新用户,识别的是“新用户一开始就看到 B”时的效应。白皮书认为这批用户的曝光顺序与全面上线后的人群一致,但老用户适应 B 之后的长期反应是否与新用户相同,仍需要额外假设;如果两类用户本身就不一样,干净队列的结论推广到全体用户时仍可能有偏差。这正是需要把用户类型和曝光历史一起建模的地方。此外,以首访时间为门槛,前提是实验开始时刻确实是切换点、之后不再延迟投放旧版,作者在文中也注明了这一点。

参考文献

  1. Gelman, A. (2026, October 23). A big problem with conventional experimentation or A/B testing is that the treatment effect can vary over time and it can depend on the entire history of the treatment. Usual comparisons miss this point. Statistical Modeling, Causal Inference, and Social Science. https://statmodeling.stat.columbia.edu/2026/10/23/a-big-problem-with-conventional-experimentation-or-a-b-testing-is-that-the-treatment-effect-can-vary-over-time-and-it-can-depend-on-the-entire-history-of-the-treatment-usual-comparisons-miss-this-po/

  2. Bronzini, A. (2025, December 15; updated 2025, December 17). The First-Exposure Contamination Problem and the Requirement of First-Exposure Randomization for Valid Digital Experimentation. ConfidentStory.com. https://confidentstory.com/assets/files/THE_FIRST_EXPOSURE_CONTAMINATION_PROBLEM_251217.pdf

  3. Gelman, A. (2024, January 3). It’s about time. Statistical Modeling, Causal Inference, and Social Science. https://statmodeling.stat.columbia.edu/2024/01/03/its-about-time-my-talk-for-the-upcoming-ny-r-conference/

  4. 研究方法 · 仪式可以模仿,理解无法伪装

  5. 信息由 Scholay 学术一站式平台 整理并发表,如有侵权请反馈下架。

  6. 信息同步发表于恩特学术,智能时代的学者社区