5D Library › 科学方法论、可证伪性与可重复性危机的数理统计 · English

第五章 大规模重复检验:结果与争议

从推理到测量

前几章的模型依赖于难以直接测量的量。2010 年代,几组研究者换了一种办法:直接把已发表的研究重新做一遍。

三个大型项目

证据

心理学(开放科学协作组 2015)。 二百多位研究者重复了 2008 年发表在三种心理学期刊上的 100 项实验与相关研究,尽量使用原始材料,并按原研究的效应量设计了高功效的重复(计划功效平均 0.92,中位数 0.95)。原研究中 97 项报告了显著结果;在这 97 项中,重复研究得到显著结果的有 35 项,即 36.1%(95% 置信区间 26.6% 到 46.2%)。重复研究的平均效应量(以相关系数 rr 表示)为 0.197,约为原研究平均值 0.403 的一半;47% 的原研究效应量落在重复研究的 95% 置信区间内;39% 的效应被研究团队主观评定为「重复成功」;如果假设原研究没有偏倚、把两者合并,68% 显著 (Open Science Collaboration 2015)。

证据

实验经济学(卡默勒等 2016,《科学》)。 重复了 2011 至 2014 年发表在《美国经济评论》与《经济学季刊》上的 18 项实验室实验,全部事先公开分析计划,功效至少 90%(按原效应量计算)。11 项(61%)得到同方向的显著效应;重复效应量平均为原研究的 66%。用其他指标衡量,重复率在 67% 到 78% 之间 (Camerer et al. 2016)。

证据

《自然》与《科学》上的社会科学实验(卡默勒等 2018,《自然·人类行为》)。 重复了 2010 至 2015 年发表在《自然》与《科学》上的 21 项社会科学实验,样本量平均约为原研究的 5 倍。13 项(62%)得到同方向的显著效应;重复效应量平均约为原研究的 50%;在重复成功的研究中约为 75%,在失败的研究中接近 0。研究者事先组织的预测市场对哪些研究能够重复有相当准确的判断 (Camerer et al. 2018)。

框架中把卡默勒 2016 年的经济学重复与 2018 年的社会科学重复并列,这一点需要分清:前者发表在《科学》,后者发表在《自然·人类行为》。另外,开放科学协作组的「36%」以 97 项原本显著的研究为分母,不是 100 项。

「重复成功」是什么意思

「36% 重复成功」常被读成「64% 的发现是假的」。这跳过了两步:即使效应完全真实,按被夸大的原效应量(第四章)设计的「92% 功效」也高估了重复研究的实际功效;「不显著」也不等于「效应为零」。所以重复率混合了「多少效应是真的」与「真实效应多大」,不能直接换算成假发现率。

一个重复项目的模型。一个领域研究的效应中,比例 π\pi 真实存在(真实效应为 dd),其余为零;原研究每组 15 到 50 人,只有显著且方向与声称一致时才发表;重复研究按原研究报告的效应量计算样本量,使计划功效为 92%;成功指重复研究在同方向上显著。参数都是示意值。后半部分计算两项研究没有任何偏倚时,一项研究的 95% 置信区间包含另一项估计值的概率(下文「用置信区间判断重复」一节使用):原研究标准误为 1,重复研究样本量为其 kk 倍,τ\tau 为不同地点、人群之间真实效应的标准差。

推导

# A replication project modelled: a share pi of studied effects is real (true d), the rest
# zero; originals (15-50 per group) are published only if p < .05 in the claimed
# direction; replications are sized for 92 % power at the ORIGINAL estimate (as planned in
# OSC 2015). Illustrative values. Part 2, no bias at all: chance that one study's 95 % CI
# captures the other's estimate (original SE = 1, replication k times larger; tau = SD of
# true effects between settings).
import math, random
from statistics import NormalDist
Z, Phi = NormalDist().inv_cdf, NormalDist().cdf

def project(rng, pi, d, n_orig=(15, 50), attempts=100000):
    succ, orig_sum, rep_sum, k, real = 0, 0.0, 0.0, 0, 0
    for _ in range(attempts):
        true_d = d if rng.random() < pi else 0.0
        n = rng.randint(*n_orig)
        se = math.sqrt(2 / n)
        est = rng.gauss(true_d, se)
        if est / se <= 1.96:
            continue                        # not significant: stays in the drawer
        n_rep = math.ceil(2 * (Z(0.975) + Z(0.92)) ** 2 / est ** 2)
        se_r = math.sqrt(2 / n_rep)
        rep = rng.gauss(true_d, se_r)
        k += 1; real += true_d > 0; succ += rep / se_r > 1.96
        orig_sum += est; rep_sum += rep
    return k, real / k, succ / k, rep_sum / orig_sum

if __name__ == "__main__":
    rng = random.Random(2015)
    print("share real  true d | published: share real | replications significant"
          " | effect ratio")
    for pi, d in ((1.0, 0.5), (1.0, 0.2), (0.5, 0.5), (0.5, 0.3), (0.3, 0.5), (0.0, 0.0)):
        k, real, succ, ratio = project(rng, pi, d)
        print(f"   {pi:4.2f}      {d:4.2f}  | {real:22.2f} | {succ:24.0%}"
              f" | {ratio:12.2f}")
    print("replication size  tau | replication in original CI"
          " | original in replication CI")
    for k in (1, 2.5, 5):
        for tau in (0.0, 0.5):
            sd = math.sqrt(1 + 1 / k + 2 * tau ** 2)
            a, b = 2 * Phi(1.96 / sd) - 1, 2 * Phi(1.96 / math.sqrt(k) / sd) - 1
            print(f"   {k:4.1f} x        {tau:3.1f} | {a:26.1%} | {b:26.1%}")
# share real  true d | published: share real | replications significant | effect ratio
#    1.00      0.50  |                   1.00 |                      70% |         0.72
#    1.00      0.20  |                   1.00 |                      22% |         0.32
#    0.50      0.50  |                   0.95 |                      67% |         0.69
#    0.50      0.30  |                   0.90 |                      37% |         0.43
#    0.30      0.50  |                   0.90 |                      64% |         0.66
#    0.00      0.00  |                   0.00 |                       3% |         0.00
# replication size  tau | replication in original CI | original in replication CI
#     1.0 x        0.0 |                      83.4% |                      83.4%
#     1.0 x        0.5 |                      78.5% |                      78.5%
#     2.5 x        0.0 |                      90.2% |                      70.5%
#     2.5 x        0.5 |                      84.5% |                      63.2%
#     5.0 x        0.0 |                      92.6% |                      57.6%
#     5.0 x        0.5 |                      86.7% |                      49.9%

结果说明,重复率很难被直接读成假发现率。如果所有效应都真实存在、真实 d=0.5d = 0.5,重复成功率是 70%,重复效应量约为原研究的 72%;如果所有效应都真实存在但真实 d=0.2d = 0.2,重复成功率只有 22%,效应量只有原研究的 32%。也就是说,一个没有任何假发现的领域,也可能得到比开放科学协作组更低的重复率,只要它研究的效应很小、原研究又很小。反过来,当一半的效应为零、真实效应为 0.3 时,发表的原研究中有 90% 是真实效应,重复率却只有 37%,效应量比为 0.43,与开放科学协作组的数字相当接近。如果所有效应都为零,重复率只有 3%。

这不是说低重复率「没问题」:无论原因是假发现多还是效应被夸大,读者都不能按原文报告的效应量去相信那些发现。

争议:吉尔伯特等人的批评与回应

2016 年,吉尔伯特、金、佩蒂格鲁与威尔逊在《科学》上发表评论,认为开放科学协作组的数据「与相反的结论也一致」,即心理学的可重复性其实相当高 (Gilbert et al. 2016)。他们的论点有三条。

  • 误差。 开放科学协作组的基准只考虑了抽样误差,但许多重复研究在人群和程序上与原研究不同。他们借用「多实验室」项目的数据 (Klein et al. 2014),认为在这种差异下,仅凭偶然就应有更多重复「失败」。
  • 功效。 多实验室项目由 36 个实验室各自重复每一项原研究,报告约 85% 的原研究得到重复;按开放科学协作组「每项只重复一次」的方法重新计算,只有约 34%,说明单次重复的方法会低估可重复性。
  • 偏倚。 只有 69% 的原作者认可了重复方案;被认可的方案重复率为 59.7%,未被认可的只有 15.4%,他们据此认为与原研究的偏离使重复偏向失败。

开放科学协作组的作者随即回应 (Anderson et al. 2016):吉尔伯特等人引用的「多实验室」项目并不是对心理学研究的代表性抽样;在另一个多地点项目中成功率只有约 30%;用置信区间衡量时,即使在没有偏倚的条件下,期望的重复率也只有约 78.5%,而实际是 47.4%;被认可与否和重复成功的关联是相关关系,也可能是因为对自己研究更没有把握的原作者更不愿意认可;重复研究中 83% 的效应量小于原研究,这与发表偏倚的预期一致。

用置信区间判断重复

争论中反复出现「原研究的效应量是否落在重复研究的置信区间内」这类标准。这里有一个常被忽视的事实:即使两项研究研究的是完全相同的效应、没有任何偏倚,一项研究的 95% 置信区间也没有 95% 的机会包含另一项研究的估计值。卡明与梅拉尔代证明,两项研究精度相同时,这个机会平均只有约 83.4% (Cumming and Maillardet 2006)。

前面程序的后半部分显示,两项研究精度相同、没有异质性时,两个方向的概率都是 83.4%。但重复研究越大,「原研究估计落在重复研究置信区间内」(开放科学协作组的指标)的概率越低:重复研究是原研究的 2.5 倍时为 70.5%,5 倍时为 57.6%,因为大样本的置信区间很窄;加入地点间异质性(τ=0.5\tau = 0.5)后降到 63.2% 与 49.9%;如果原研究还经过「只有显著才发表」的筛选,基准还会更低。所以开放科学协作组 47% 的原研究效应量落在重复置信区间内,并不能与「95%」作比较;合理的基准取决于样本量之比、异质性与原研究被筛选的程度。双方争论中的数字(例如 78.5% 的期望值)也都依赖于这些假设。

注

本书对这场争论的读法。 两边各有道理:「重复失败」不等于「原发现是假的」,但也没有一种合理的基准能让 36% 显得令人放心。比任何单一重复率更可靠的结论是:原文报告的效应量普遍偏大,小样本、pp 值接近 0.05 的原研究更难重复(开放科学协作组也报告,原研究证据越强,越可能重复成功)。

假说 · 尚未验证

尚未确立:预注册的原研究更容易重复。 如果第三章的研究者自由度是重复失败的重要原因,那么在样本量与原 pp 值相近的原研究中,事先注册了分析方案的研究在独立重复中的成功率应当更高。如果在足够大的样本中两者没有差别,这个假说就是错的。

本章小结

三个大型重复项目给出的同方向显著率分别为 36.1%(心理学,35/97)、61%(经济学,11/18)与 62%(《自然》《科学》社会科学实验,13/21),重复效应量约为原研究的一半到三分之二。重复率不能直接换算成假发现率:一个没有任何假发现、但研究的效应很小的领域,重复率也可能很低。吉尔伯特等人关于异质性、单次重复与方案偏离的批评,与开放科学协作组的回应,各有道理。用置信区间判断重复时,合理的基准远低于 95%。下一章讨论怎样从源头上解决这些问题。

参考文献

Anderson, Christopher J. et al. 2016. “Response to Comment on ‘Estimating the Reproducibility of Psychological Science’.” Science 351 (6277): 1037. https://doi.org/10.1126/science.aad9163.
Camerer, Colin F., Anna Dreber, Eskil Forsell, et al. 2016. “Evaluating Replicability of Laboratory Experiments in Economics.” Science 351 (6280): 1433–36. https://doi.org/10.1126/science.aaf0918.
Camerer, Colin F., Anna Dreber, Felix Holzmeister, et al. 2018. “Evaluating the Replicability of Social Science Experiments in Nature and Science Between 2010 and 2015.” Nature Human Behaviour 2 (9): 637–44. https://doi.org/10.1038/s41562-018-0399-z.
Cumming, Geoff, and Robert Maillardet. 2006. “Confidence Intervals and Replication: Where Will the Next Mean Fall?” Psychological Methods 11 (3): 217–27.
Gilbert, Daniel T., Gary King, Stephen Pettigrew, and Timothy D. Wilson. 2016. “Comment on ‘Estimating the Reproducibility of Psychological Science’.” Science 351 (6277): 1037. https://doi.org/10.1126/science.aad7243.
Klein, Richard A. et al. 2014. “Investigating Variation in Replicability: A ‘Many Labs’ Replication Project.” Social Psychology 45 (3): 142–52.
Open Science Collaboration. 2015. “Estimating the Reproducibility of Psychological Science.” Science 349 (6251): aac4716. https://doi.org/10.1126/science.aac4716.

Fan, Y. (2026). Scientific Methodology, Falsifiability and the Mathematical Statistics of the Replication Crisis: From Popper's Demarcation and p-Hacking to Ioannidis's Theorem and Pre-Registration, Read Beside Classical Chinese Evidential Scholarship [科学方法论、可证伪性与可重复性危机的数理统计] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23782104 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).