研究方法 / 统计之美

检验悖论为何偏向长间隔和大班

澳大利亚布里斯班吉邦区一处公交车站的站牌,牌上贴着该站线路的发车时刻表,2009 年清晨拍摄

澳大利亚布里斯班吉邦区皮卡迪利街上 Sandra Street 47 号公交站的时刻表牌(2009 年拍摄)。按时刻表算出的平均发车间隔,是按车次平均的结果。摄影:John Robert McPherson;来源:Wikimedia Commons;许可:CC BY-SA 4.0。

在随机时刻走到车站,碰上的往往是一段偏长的发车间隔;随机问一名大学生所在班级有多少人,答案往往比学校公布的平均班额大。概率论把这类现象称为检验悖论:当抽样单位与关心的对象不一致时,越长、越大的个体越容易被抽中。本文从费勒教材里的公交例子讲起,经过班级规模悖论和友谊悖论,再给出一段可以手算复核的示意。

费勒教材里的等待时间悖论

1966 年,威廉·费勒(William Feller)在《概率论及其应用》第二卷第一章第 4 节写下一个“等待时间悖论”。公交车按泊松过程到站,相邻两班的平均间隔记为 1/α;“我”在一个与公交无关的时刻到站(书中的例子是正午整点),期望要等多久?书里摆出两个都说得通的答案:泊松过程没有记忆,什么时候到站都一样,期望等待应是完整的 1/α;可到站时刻又像是随机落在两班车之间,按对称性似乎只该等半个间隔。

费勒的解答是:被“我”的到站时刻覆盖的那一段间隔,并不是一段普通的间隔。在指数分布的情形下,这段间隔的期望长度是 2/α,恰好是平均间隔的两倍,取一半仍是 1/α,两个答案于是不再矛盾。他写道,这个解答曾让有经验的研究者大吃一惊,但道理可以粗略地说成一句话:长间隔比短间隔更有机会覆盖住某个固定时刻。

在同一卷第六章第 7 节,费勒把这件事正式称为“检验悖论”(inspection paradox)。设想电池用坏即换,在某一时刻抽查正在使用的电池并记录其寿命。直觉上,这批电池应当代表全部电池的寿命分布,实际却不然:在指数寿命的情形下,被抽中电池的期望寿命翻倍。费勒提醒,看似无偏的抽检方案可能导出错误结论,因为观察到的样本未必代表总体;他同时给出一个简单的补救——改为检验该时刻之后装上的第一块电池,就不会出这个问题。

班级规模悖论与友谊悖论

社会学家斯科特·费尔德(Scott L. Feld)和伯纳德·格罗夫曼(Bernard Grofman)1977 年在《高等教育研究》(Research in Higher Education)上,把同一机制带进了大学课堂。据他们引用的 1974 年春季教学评估调查,纽约州立大学石溪分校共开设 737 门课(另有 9 门数据缺失),平均每门 40.5 人,标准差 65.8;可如果按学生来平均,学生所在班级的平均人数是 147,约为前者的 3.7 倍。原因并不神秘:一门 300 人的大课会被 300 名学生各报一次,一门 10 人的小课只被报 10 次。

两人把这个差距写成“感知比”:学生感受到的平均班额除以学校的平均班额,等于 1 加上班额变异系数的平方,即 1 + (σ/μ)²。班额完全相同时,比值为 1;只要大小不一,学生感受到的平均值就一定更大,而且班额越参差,差距越大。论文报告的比值约为 3.7;按文中给出的均值和标准差代入,1 + (65.8/40.5)² ≈ 3.64,与 147 ÷ 40.5 的结果相符。

1915 年爱荷华州立学院化学系大礼堂里,一位教师在讲台前给全场化学系学生上课的黑白照片

1915 年,爱荷华州立学院化学系礼堂里的一堂化学课。按学生统计班额时,这样的大课会被在座每位学生各计一次。来源:爱荷华州立大学图书馆特藏与校史档案部(Flickr);许可:公有领域标记(Public Domain Mark 1.0)。

1991 年,费尔德在《美国社会学杂志》发表《为什么你的朋友比你朋友多》,把这一类现象统称为“班级规模悖论”。他用科尔曼(James Coleman)1961 年《青少年社会》中的友谊数据说明,多数人的朋友数少于其朋友们的平均朋友数。换成网络的语言:顺着一条随机挑出的友谊关系(网络中的一条边)找到的人,被抽中的机会与他的朋友数成正比——有 50 个朋友的人出现在 50 条边上,只有 1 个朋友的人只出现在 1 条边上。唐尼(Allen Downey)用斯坦福 SNAP 数据集中约 4000 名脸书用户算过:用户平均有 42 个朋友,而随机选出的“朋友”平均有 91 个。

一段可复算的发车间隔示意

下面的数字只用四则运算就能复核。设某条线路的发车间隔一半是 5 分钟、一半是 15 分钟,交替出现,按车次平均的间隔是 10 分钟。乘客在随机时刻到站时,每 20 分钟里有 15 分钟落在长间隔中,所以有 75% 的乘客赶上 15 分钟的间隔,只有 25% 赶上 5 分钟的间隔——长间隔只占车次的一半,却占了时间的四分之三。

于是,乘客所在间隔的平均长度是 0.75 × 15 + 0.25 × 5 = 12.5 分钟,而不是 10 分钟。到站时刻在所在间隔内均匀分布,平均等待是这段间隔的一半:0.75 × 7.5 + 0.25 × 2.5 = 6.25 分钟,比“平均间隔的一半”5 分钟多出 25%。一般地,记发车间隔为 X,乘客所在间隔的期望长度是 E[X²]/E[X] = E[X] + Var(X)/E[X],平均等待是它的一半。本例中 E[X²] = (25 + 225)/2 = 125,125/10 = 12.5;比值 12.5/10 = 1 + (5/10)² = 1.25,正是费尔德和格罗夫曼的感知比公式。班次完全准点时方差为 0,两种平均才会重合;间隔服从指数分布时,就回到费勒的例子,所在间隔的期望长度翻倍。

想用模拟复核,可以运行下面这段 Python(注释中是理论值,模拟结果会在其附近小幅波动):

import bisect
import random

random.seed(1)
gaps = [5, 15] * 50_000  # alternating 5- and 15-minute gaps
starts, t = [], 0
for g in gaps:
    starts.append(t)
    t += g

hit, wait = [], []
for _ in range(100_000):
    u = random.uniform(0, t)  # a rider arrives at a random moment
    i = bisect.bisect_right(starts, u) - 1
    hit.append(gaps[i])
    wait.append(starts[i] + gaps[i] - u)

print(sum(gaps) / len(gaps))  # 10.0: mean gap per bus
print(sum(hit) / len(hit))    # theory 12.5: mean gap a rider lands in
print(sum(wait) / len(wait))  # theory 6.25: mean wait

结构示意图(代码绘制):一条横向时间轴上交替排列 5 分钟(绿色)和 15 分钟(橙色)的发车间隔色块。

发车间隔一半是 5 分钟、一半是 15 分钟时,长间隔只占车次的一半,却占了四分之三的时间,所以随机到站的乘客更常落在长间隔里。色块比例为示意。AI 生成示意图。

长度偏倚抽样与修正办法

这些例子的共同结构,在统计学里叫长度偏倚抽样(length-biased sampling),也称规模偏倚抽样(size-biased sampling):个体被抽中的概率与它的“长度”或“规模”成正比。阿拉蒂亚(Richard Arratia)和戈尔德斯坦(Larry Goldstein)在 2010 年的一篇论文里用食堂举例:问在食堂吃饭的学生“你这桌连你共几人”,20% 说 1 人,30% 说 2 人,30% 说 3 人,20% 说 4 人;换算成桌子,假设共 100 名学生,就是 20 + 15 + 10 + 5 = 50 张桌,其中 40% 只坐 1 人,只有 10% 坐满 4 人。按人问和按桌数,得到的是两个不同的分布。

直觉被带偏,往往是因为默认“我看到的”就是“全体的”。唐尼 2015 年整理过几个日常例子:他记录波士顿地铁红线下午 4 点到 5 点之间约 70 趟列车的到站时间,列车平均间隔 7.8 分钟,乘客经历的间隔平均 8.8 分钟,平均等待约 4.4 分钟,比按平均间隔推算的多约 15%;航空公司抱怨空座太多、乘客却觉得航班总是很满;按他对美国联邦刑期的粗略估算,刑期均值约 121 个月,而在随机时刻随机遇到的犯人,刑期均值约 183 个月。偏差大小取决于分布有多分散:红线的间隔差异不算大,偏差也温和;朋友数这类长尾分布,偏差可以超过一倍。

检验悖论本身不是计算错误,问题在于把一种平均当成另一种平均。按学生平均的 147 人和按课程平均的 40.5 人都没有算错,只是回答不同的问题。唐尼的建议是,如果想刻画学生体验,按学生平均可能更有意义,但必须说清自己量的是什么。若手里只有偏倚样本,也可以反过来推算:他演示了从学生视角的分布反推真实班额分布,做法相当于按 1/x 给每个观测降权。另一条路是改抽样方式,正如费勒所说,检验某一时刻之后新装上的第一件产品,而不是恰好在用的那一件。

参考文献

  1. Feller, W. (1966). An Introduction to Probability Theory and Its Applications, Vol. II. New York: Wiley. 第 I 章第 4 节 Waiting Time Paradoxes;第 VI 章第 7 节 An inspection paradox。书目页

  2. Feld, S. L., & Grofman, B. (1977). Variation in class size, the class size paradox, and some consequences for students. Research in Higher Education, 6(3), 215–222. doi:10.1007/BF00991287

  3. Feld, S. L. (1991). Why your friends have more friends than you do. American Journal of Sociology, 96(6), 1464–1477. doi:10.1086/229693

  4. Arratia, R., & Goldstein, L. (2010). Size bias, sampling, the waiting time paradox, and infinite divisibility: when is the increment independent? arXiv:1007.3910

  5. Downey, A. (2015, August 18). The inspection paradox is everywhere. Probably Overthinking It. 博客原文

  6. 研究方法 · 仪式可以模仿,理解无法伪装

  7. 信息由 Scholay 学术一站式平台 整理并发表,如有侵权请反馈下架。

  8. 信息同步发表于恩特学术,智能时代的学者社区