← 返回栏目

PublicationBiasBenchmark 0.3.0:发表偏倚校正方法基准新增三种方法

用 MetaXL 绘制的元分析漏斗图,各研究散点在倒漏斗区域内左右分布不对称,提示可能存在发表偏倚

漏斗图把各项研究的效应量与精度画在一起:没有发表偏倚时,点应围绕合并效应左右对称地散开;若不显著的小样本研究缺席,图形就会偏向一侧。不对称也可能来自小研究效应等其他原因。图:Sardmeta1,用 MetaXL 绘制,来源 Wikimedia Commons(File:Funnel plot depicting asymmetry Sept 2015.jpg),许可 CC BY-SA 3.0。

2026 年 9 月 30 日,R 包 PublicationBiasBenchmark 0.3.0 发布到 CRAN,为这套发表偏倚校正方法的公开模拟基准新增 RTMA、MAN、MMPH 三种方法。基准网站汇总的 1665 个模拟条件显示,MMPH 的 RMSE 平均名次排第三;但包括新方法在内,没有一种方法的平均 95% 区间覆盖率超过 80%。

0.3.0 版的新增内容

PublicationBiasBenchmark 由阿姆斯特丹大学心理学方法系的 František Bartoš 维护,合作者为 Samuel Pawel、Björn S. Siepe 和 Petr Čala。CRAN 归档目录显示,它的 0.1.0 版于 2025 年 11 月 5 日首次上架,此后经历 0.1.x 系列、0.2.0(加入 MAIVE)和 0.2.1 几次更新;0.3.0 版的 CRAN 发布日期是 2026 年 9 月 30 日。项目说明写明,新增或修改方法、数据生成机制时提升次版本号,所以这次从 0.2 升到 0.3,意味着基准里的方法清单变了。

按 NEWS 记录,0.3.0 的变化有四项:

  • RTMA(右截断元分析):出自 Mathur(2024),用于校正 p-hacking 与发表偏倚的联合影响。包内通过 phacking 包的 phacking_meta() 调用 Stan 估计,数据里至少要有一项“非肯定性”研究,即不显著或方向为负的结果。
  • MAN(只合并非肯定性研究的元分析):出自 Mathur 与 VanderWeele(2020),用作敏感性分析,给出选择模型下发表偏倚达到最大时的最坏情形点估计。
  • MMPH(p-hacking 混合模型):出自 Moss 与 De Bin(2023),通过 publipha 包的 phma() 估计。
  • fit_limit 参数:run_method() 可以设定单次拟合的分钟上限,超时即返回标准化的失败结果。拟合放在复用的后台 R 进程里运行,因此卡在编译采样代码中的 RoBMA、RTMA、MMPH 也能被中止。

活体合成基准的比较方式

这个包是论文《Living Synthetic Benchmarks》的原型实现。论文 2025 年 10 月 22 日首发于 arXiv,2026 年 10 月 13 日更新为第 2 版。作者指出的问题是:新方法通常由提出者自己设计数据生成机制(DGM)做模拟检验,既有展示新方法优势的动机,各研究之间的 DGM、对照方法和性能指标也互不相同,结论难以横向比较。他们提出“活体合成基准”:把方法开发与模拟设计拆开,公开预先模拟好的数据和各方法的计算结果;新方法只需在同一批数据上运行并提交结果,新的 DGM 或指标加入后,再为已有方法补算。

在发表偏倚这个原型里,DGM 取自 Hong 与 Reed(2021)汇集的四组既有模拟研究:Stanley 等(2017)、Alinaghi 与 Reed(2018)、Bom 与 Rachinger(2019)和 Carter 等(2019)。模拟数据、逐次结果和性能指标以 CSV 文件存放在 OSF 仓库。指标除 RMSE、偏差和置信区间覆盖率外,还加入同时衡量区间宽度与覆盖的区间评分,以及把一类错误率和功效合起来看的正、负似然比,并附蒙特卡洛标准误。由于各组 DGM 的效应量尺度不同,网站按每个条件内的名次求平均来比较方法;对未收敛的拟合给出两种口径:只统计收敛的重复,或按“未收敛即替换”计入替代结果。

新方法的基准表现

2026 年 10 月 17 日查阅时,基准网站的总体结果页已纳入三种新方法,覆盖四组 DGM 共 1665 个模拟条件、24 个方法设置。只统计收敛重复时,RMSE 平均名次前三是 AK1 选择模型(7.428)、RoBMA 的 PSMA 设置(7.895)和新加入的 MMPH(8.014);按未收敛替换口径,MMPH 退到第四(9.138),排在 WAAPWLS 之后。RTMA(网站列出的是 relaxed 设置)和 MAN 分列第 22、23 位。

区间与检验方面的数字更值得留意。平均 95% 覆盖率最高的是 RoBMA(0.800),常规随机效应模型只有 0.457。RTMA 只算收敛重复时覆盖率为 0.758,排第四;按替换口径降到 0.575,说明它的表现很依赖未收敛重复的处理方式。一类错误率最低的仍是 RoBMA(0.102),MMPH 为 0.379,随机效应模型为 0.622,都远高于名义水平 5%。MAN 的 RMSE 名次和覆盖率(0.257)都靠后,但它的定位本来是最坏情形下的敏感性估计,并不以贴近真值为目标,更适合放在主分析旁边作对照。

适用边界与使用提醒

这些名次的适用范围有几条限制。第一,DGM 继承自四组旧研究,论文承认,针对相依效应量和元回归的新方法还缺少相应的 DGM,多层元分析或含调节变量的场景不能直接套用这里的排名。第二,网站提醒,总体名次高不等于在某个具体应用里最好,选方法应回到与自己数据特征相近的条件,查看分条件结果。第三,RTMA、MMPH、RoBMA 都依赖 Stan 采样,计算慢且设有收敛阈值(例如 RTMA 默认要求效应量的 R-hat 低于 1.01、有效样本量高于 500),大规模复现要预留算力,fit_limit 正是为此加入的。

第四是中立性。论文第一作者 Bartoš 也是 RoBMA 的作者,论文在利益声明中写明了这一点,并说明所有 DGM 都由其他研究者开发。论文目前仍是 arXiv 预印本,网站排名随提交的结果自动更新。对使用者来说,比较稳妥的用法是把它当作一张公开的“体检表”:先排除在相近条件下明显失效的方法,再并列报告几种表现稳定的方法,而不是只挑总排名第一的那一个。

参考文献

  1. CRAN. PublicationBiasBenchmark: Benchmark for Publication Bias Correction Methods(0.3.0,2026-09-30 发布)

  2. Bartoš F, et al. PublicationBiasBenchmark NEWS.md

  3. CRAN. PublicationBiasBenchmark 历史版本归档

  4. Bartoš F, Pawel S, Siepe BS. Living Synthetic Benchmarks: A Neutral and Cumulative Framework for Simulation Studies. arXiv:2510.19489(v1 2025-10-22;v2 2026-10-13)

  5. PublicationBiasBenchmark. Results: Overall(2026-10-17 查阅)

  6. PublicationBiasBenchmark. 项目主页与版本规则

  7. PublicationBiasBenchmark 方法文档:RTMA、MAN、MMPH

  8. Mathur MB. P-hacking in meta-analyses: A formalization and new meta-analytic methods. Research Synthesis Methods, 2024, 15(3): 483–499. doi:10.1002/jrsm.1701

  9. Mathur MB, VanderWeele TJ. Sensitivity analysis for publication bias in meta-analyses. Journal of the Royal Statistical Society Series C, 2020, 69(5): 1091–1119. doi:10.1111/rssc.12440

  10. Moss J, De Bin R. Modelling publication bias and p-hacking. Biometrics, 2023, 79(1): 319–331. doi:10.1111/biom.13560

  11. 研究方法 · 仪式可以模仿,理解无法伪装

  12. 信息由 Scholay 学术一站式平台 整理并发表,如有侵权请反馈下架。

  13. 信息同步发表于恩特学术,智能时代的学者社区