
Simon Newcomb 肖像画,Charles Harold L. MacDonald 绘于 1909 年。图源:美国国家肖像馆(史密森学会)藏品 NPG.78.280,npg.si.edu;许可:CC0 1.0。
在人口、面积、物理常数等许多自然形成的数据里,以 1 开头的数字约占三成,以 9 开头的不到 5%。天文学家 Simon Newcomb 在 1881 年最早记下这一现象,物理学家 Frank Benford 在 1938 年用两万多个数据再次发现它,后人称之为本福特定律。本文梳理它的来历和成立条件,以及它在财务与选举数据核查中能做什么、不能做什么。
两次发现:Newcomb 与 Benford
1881 年,美国天文学家 Simon Newcomb 在《American Journal of Mathematics》第 4 卷发表了一篇两页的短文。他写道,任何经常查对数表的人都会注意到,表的前几页比后几页磨损得快得多:首位有效数字是 1 的数最多,频率一路递减到 9。Newcomb 的解释是,自然界中出现的数可以看作量与量之比;反复取比值之后,这些数的常用对数的小数部分(尾数)会趋于均匀分布。他由此得出结论:所有对数尾数等可能出现,并据此给出了首位和第二位数字的概率表,例如第二位数字是 0 的概率约为 0.1197,是 9 的约为 0.0850。
半个多世纪后,通用电气研究实验室的物理学家 Frank Benford 从同一个对数表现象出发,做了大规模计数。他的论文于 1937 年 4 月 22 日在美国哲学学会宣读,刊于 1938 年 3 月 31 日出版的《Proceedings of the American Philosophical Society》第 78 卷第 4 期。Benford 收集了 20 组数据,包括河流面积、人口、物理常数、报纸上的数字、比热、分子量、美国棒球联盟统计、街道地址和死亡率等,共 20,229 个观测值。汇总后,首位为 1 的平均占 30.6%,为 9 的占 4.7%,与公式 P(d) = log₁₀(1 + 1/d) 给出的 30.1% 和 4.6% 十分接近。他还注意到,彼此无关的数字混在一起(比如一组报纸上的数字)比数学用表等规整数据更贴合对数分布,因此把论文命名为“反常数定律”(The Law of Anomalous Numbers)。Benford 的论文全文没有提到 Newcomb;到 1961 年 Pinkham 综述这一主题时,他列出的五篇已发表论文里也没有 Newcomb 的短文。
成立机制:对数、尺度与混合
理解本福特定律,最好换到对数刻度上看。一个正数的首位数字只取决于它的常用对数的小数部分:在 1 到 10 这一段里,log₁₀1 到 log₁₀2 占去约 30.1% 的长度,log₁₀9 到 log₁₀10 只占约 4.6%。Berger 和 Hill 给出的等价刻画是:一个正随机变量服从本福特分布,当且仅当它的常用对数的小数部分在 [0, 1) 上均匀分布。这正是 Newcomb 所说的“尾数等可能”。
现实数据为什么会接近这种状态?一条思路是尺度不变。1961 年,Pinkham 在《Annals of Mathematical Statistics》上论证:如果首位数字的分布不随度量单位改变(比如把美元换成欧元、把米换成英尺),它只能是 log₁₀(1 + 1/d)。不过据 Berger 和 Hill 转述,Raimi 在 1976 年详细说明了这一论证的缺陷,并把发现归功于 Knuth:它隐含了“正实数上存在尺度不变的概率分布”这一不成立的假设。首位数字层面尺度不变性刻画的第一个正确证明,出自 Hill 1995 年的论文。
另一条思路是数据混合。Hill 在 1995 年发表于《Statistical Science》的论文中证明了一个类似中心极限定理的结果:如果以“无偏”的方式随机挑选各种分布,再从每个分布中抽取样本,合并样本的有效数字会收敛到本福特分布。这与 Benford 的观察相互印证:单一、规整的数表未必符合,来源五花八门的数字合在一起反而更贴合。
常见的简化解释是“数据横跨很多个数量级,自然就符合”,但这并不成立。Berger 和 Hill 在 2010 年的论文中指出,Feller 教科书里基于“大跨度”的推导有根本错误:任何取正值的均匀分布都不接近本福特分布。比如在 1 到 2×10ⁿ 的整数中均匀抽取,无论 n 多大,以 1 开头的都超过一半,而不是约 30%。他们的总结是,本福特定律在数学上已有坚实基础,但它为何在真实数据中如此普遍,多数专家仍认为是个谜。
核查应用:用法与边界
在审计中,本福特分析用来从海量交易里筛出值得细查的账户,而不是直接下结论。Durtschi、Hillison 和 Pacini 于 2004 年在《Journal of Forensic Accounting》发表的文章列出了较适用的情形:由两个量相乘得到的数(如应收账款=销售数量×单价)、交易级的明细数据(支出、销售、费用)、全年交易这样的大样本,以及均值大于中位数、偏度为正的账户。
同一篇文章也列出了不宜使用的情形。一是指定编号,如支票号、发票号和邮政编码,它们更接近均匀分布;二是受人为心理影响的数字,如定在 1.99 美元这类心理价位的价格、ATM 的整额取款;三是包含大量公司特定金额的账户,如专门记录 100 美元退款的账户;四是有内置上限或下限的数据,如达到金额门槛才入账的资产清单;五是根本没有留下记录的舞弊,如盗窃、回扣和围标。作者指出,只有舞弊者增加或删除了不符合该分布的记录,检验才会出现明显偏离;不留痕迹的账外行为,数字分析无从发现。
这类方法也被用到政府统计上。Rauch、Göttsche、Brähler 和 Engel 2011 年发表于《German Economic Review》的研究,用本福特检验分析欧盟成员国向欧盟统计局上报的赤字相关宏观数据,发现欧元区国家中希腊数据偏离本福特分布的程度最大。这一结论是偏离程度的比较;偏离本身并不能指出是哪个数字、因何出错。
选举数据的争议更大。争论焦点是一种检验投票站级得票数第二位有效数字的方法:看其均值是否接近本福特分布下的 4.187。Deckert、Myagkov 和 Ordeshook 2011 年在《Political Analysis》上用模拟的公平与舞弊选举,以及经其他调查确认存在或基本不存在舞弊的真实选举进行检验,发现符合与偏离本福特定律没有规律可循,判断的“成功率”基本相当于抛硬币,结论是它作为选举取证工具问题重重。Mebane 在同期刊发的评论中反驳:该文把第二位数字均值检验错误地归于本福特定律,模拟与真实选举缺乏关联,检验的聚合层级也不恰当。但他同样承认,第二位数字检验能否诊断舞弊仍是一个开放问题,期望值需要考虑策略投票等正常选举本身的特征。
归结起来,本福特检验更像一道初筛:数据要先满足适用条件,样本要足够大;出现偏离只说明值得细查,还要回到原始凭证、调查记录和其他证据;没有偏离也不能证明数据干净,因为账外舞弊根本不会留下可检验的数字。单凭首位数字分布,不能认定任何个人或机构造假。