5D Library › 科学方法论、可证伪性与可重复性危机的数理统计 · English

第二章 为什么大多数已发表的发现可能是错的:伊奥尼迪斯的推导

从诊断检验到研究发现

筛查结果阳性的人真的有病的概率,不只取决于检验的准确度,还取决于这种病本来有多常见;第 26 本第三章讨论过这种「基础率」问题。2005 年,流行病学家约翰·伊奥尼迪斯把同样的推理用在了科学研究本身 (Ioannidis 2005)。把一个研究领域中被检验的所有「关系」(某基因与某病、某干预与某结局……)看成被筛查的人群;「真实存在的关系」就是「有病」,统计检验就是筛查,「显著」就是阳性。那么一个已发表的显著发现为真的概率,即阳性预测值(PPV),取决于三样东西:被检验的关系中真关系占多少、检验的功效、以及显著性水平。

推导

设 RR 为被检验的关系中「真关系与无关系之比」(事前比值),1−β1 – \beta 为功效,α\alpha 为显著性水平。在 cc 个被检验的关系中,真关系有 cR/(R+1)cR/(R+1) 个,其中 (1−β)(1-\beta) 被检出;无关系有 c/(R+1)c/(R+1) 个,其中 α\alpha 被误报。于是

PPV=(1−β)R(1−β)R+α=(1−β)RR−βR+α.\mathrm{PPV} = \frac{(1-\beta)R}{(1-\beta)R + \alpha} = \frac{(1-\beta)R}{R – \beta R + \alpha}.

伊奥尼迪斯再引入偏倚 uu:在本来不会成为「发现」的分析中,有比例 uu 因为设计、分析或报告上的偏倚而仍被当作发现报告。于是真关系中被报告为发现的比例变成 (1−β)+uβ(1-\beta) + u\beta,无关系中变成 α+u(1−α)\alpha + u(1-\alpha):

PPV=(1−β)R+uβRR+α−βR+u−uα+uβR.\mathrm{PPV} = \frac{(1-\beta)R + u\beta R}{R + \alpha – \beta R + u – u\alpha + u\beta R}.

这是伊奥尼迪斯原文的写法。作者框架中的写法是 [(1−β)R+uβR]/[(1−β)R+α+uβR+u(1−α)][(1-\beta)R + u\beta R]\,/\,[(1-\beta)R + \alpha + u\beta R + u(1-\alpha)]。把分母展开:(1−β)R=R−βR(1-\beta)R = R – \beta R,u(1−α)=u−uαu(1-\alpha) = u – u\alpha,所以两个分母逐项相同,两种写法完全等价。

两种写法逐一比较;计算框架中的示例(功效 0.20、R=0.1R = 0.1、u=0.20u = 0.20);重算伊奥尼迪斯原文表 4 的九行;以及多个独立团队检验同一问题、只要有一个显著就算「发现」时的公式 PPV=R(1−βn)/(R+1−(1−α)n−Rβn)\mathrm{PPV} = R(1-\beta^n)/(R + 1 – (1-\alpha)^n – R\beta^n)。

推导

# Positive predictive value of a "research finding" (Ioannidis 2005, PLoS Med 2: e124). R
# = pre-study odds of a true relationship among those probed, 1 - beta = power, alpha =
# 0.05, u = share of analyses that would not have been findings but are reported as
# findings through bias.
def ppv_ioannidis(power, R, u, alpha=0.05):
    beta = 1 - power
    return (((1 - beta) * R + u * beta * R)
            / (R + alpha - beta * R + u - u * alpha + u * beta * R))

def ppv_author(power, R, u, alpha=0.05):
    # the framework's form: [(1-b)R + u b R] / [(1-b)R + alpha + u b R + u(1-alpha)]
    beta = 1 - power
    num = (1 - beta) * R + u * beta * R
    return num / ((1 - beta) * R + alpha + u * beta * R + u * (1 - alpha))

def ppv_teams(power, R, n, alpha=0.05):
    # n independent teams probe the same question; a "finding" if at least one is
    # significant
    beta = 1 - power
    return R * (1 - beta ** n) / (R + 1 - (1 - alpha) ** n - R * beta ** n)

if __name__ == "__main__":
    grid = [(p / 20, r / 10, u / 20) for p in range(1, 20) for r in range(1, 31)
            for u in range(21)]
    diff = max(abs(ppv_ioannidis(*g) - ppv_author(*g)) for g in grid)
    print(f"largest difference between the two forms over {len(grid)} parameter sets:"
          f" {diff:.1e}")
    vals = ",  ".join(f"{ppv_ioannidis(0.20, 0.1, u):.4f} (u = {u})"
                      for u in (0.2, 0.3, 0.0))
    print("power 0.20, R = 0.1: PPV = " + vals)
    print("Table 4 of Ioannidis 2005, recomputed:  power   R        u     PPV (paper)")
    rows = [(0.80, 1, 0.10, "0.85"), (0.95, 2, 0.30, "0.85"), (0.80, 1 / 3, 0.40, "0.41"),
            (0.20, 1 / 5, 0.20, "0.23"), (0.20, 1 / 5, 0.80, "0.17"),
            (0.80, 1 / 10, 0.30, "0.20"),
            (0.20, 1 / 10, 0.30, "0.12"), (0.20, 1 / 1000, 0.80, "0.0010"),
            (0.20, 1 / 1000, 0.20, "0.0015")]
    for pw, R, u, paper in rows:
        f = ppv_ioannidis(pw, R, u)
        print(f"{'':39s}{pw:.2f}  {R:7.4f}  {u:.2f}  {f:.4f} ({paper})")
    print("n independent teams, no bias, R = 0.1:  n = 1      5      10")
    for pw in (0.20, 0.80):
        vals = "  ".join(f"{ppv_teams(pw, 0.1, n):.3f}" for n in (1, 5, 10))
        print(f"   power {pw:.2f}{'':27s}" + vals)
# largest difference between the two forms over 11970 parameter sets: 1.1e-15
# power 0.20, R = 0.1: PPV = 0.1304 (u = 0.2),  0.1161 (u = 0.3),  0.2857 (u = 0.0)
# Table 4 of Ioannidis 2005, recomputed:  power   R        u     PPV (paper)
#                                        0.80   1.0000  0.10  0.8497 (0.85)
#                                        0.95   2.0000  0.30  0.8521 (0.85)
#                                        0.80   0.3333  0.40  0.4055 (0.41)
#                                        0.20   0.2000  0.20  0.2308 (0.23)
#                                        0.20   0.2000  0.80  0.1718 (0.17)
#                                        0.80   0.1000  0.30  0.2043 (0.20)
#                                        0.20   0.1000  0.30  0.1161 (0.12)
#                                        0.20   0.0010  0.80  0.0010 (0.0010)
#                                        0.20   0.0010  0.20  0.0015 (0.0015)
# n independent teams, no bias, R = 0.1:  n = 1      5      10
#    power 0.20                           0.286  0.229  0.182
#    power 0.80                           0.615  0.306  0.199

在 11,970 组参数上,两种写法的最大差异是 10−1510^{-15} 量级,只是计算机的舍入误差。框架中的示例算出来是 0.1304,即约 13.0%,而不是作者估计的约 12.8%;伊奥尼迪斯表 4 中功效 0.20、RR 为 1:10 的那一行写的是 0.12,但它对应的偏倚是 u=0.30u = 0.30(程序算出 0.1161)。如果完全没有偏倚,同样的功效与事前比值给出 0.2857。表 4 的九行全部能由公式重现。

图一把这些关系画了出来。功效 0.80、没有偏倚时,事前比值要高于约 1:16,阳性预测值才超过一半;功效降到 0.20,或者加上 u=0.2u = 0.2 的偏倚,曲线整体右移,在探索性研究常见的事前比值下,大部分「发现」都不成立。

阳性预测值随事前比值 R 的变化(对数横轴)。实线无偏倚,虚线偏倚 u = 0.2;金色点为框架中的示例(功效 0.20、R = 0.1、u = 0.2,PPV = 0.13)。

多团队公式说明了另一件事:当多个团队各自检验同一个问题、只要有一个显著就会被报告时,功效 0.20 的情况下,阳性预测值从一个团队的 0.286 降到五个团队的 0.229、十个团队的 0.182。伊奥尼迪斯由此得出一组推论:研究越小、效应越小、被检验的关系越多且越少事先筛选、设计与分析越灵活、利益牵涉越大、领域越「热」,研究发现为真的可能就越低 (Ioannidis 2005)。

用模拟检验公式。每项研究是一次双侧 zz 检验;被检验的关系中真关系占 R/(1+R)R/(1+R)(R=0.1R = 0.1);真关系的平均 zz 值使功效为 0.20 或 0.80;有偏倚时,不显著的分析仍以概率 uu 被报告为发现。每种情形模拟 40 万项研究。最后一行按 pp 值大小分组,看「显著发现中真关系所占比例」。

推导

# The PPV formula checked by simulation, and Goodman & Greenland's (2007) point that p =
# 0.049 and p = 0.0001 are not equally strong evidence. Two-sided z-tests; true
# relationships are R / (1 + R) of those probed (R = 0.1), with mean z giving power 0.20
# or 0.80; with bias u a non-significant analysis is still reported as a finding with
# probability u.
import math, random
from statistics import NormalDist
N = NormalDist()

def simulate(rng, R, delta, u, n=400000):
    studies = []
    for _ in range(n):
        true = rng.random() < R / (1 + R)
        z = rng.gauss(delta if true else 0.0, 1)
        p = 2 * (1 - N.cdf(abs(z)))
        finding = p < 0.05 or rng.random() < u
        studies.append((true, p, finding))
    return studies

def ppv(rows):
    found = [t for t, p, f in rows if f]
    return sum(found) / len(found)

if __name__ == "__main__":
    rng = random.Random(2005)
    for power, delta in ((0.20, 1.96 - 0.8416), (0.80, 1.96 + 0.8416)):
        for u in (0.0, 0.2):
            s = simulate(rng, 0.1, delta, u)
            beta = 1 - power
            R, a = 0.1, 0.05
            f = (power * R + u * beta * R) / (R + a - beta * R + u - u * a + u * beta * R)
            print(f"power {power:.2f}, u = {u:.1f}: simulated PPV {ppv(s):.3f}"
                  f"   formula {f:.3f}")
        s = simulate(rng, 0.1, delta, 0.0)
        line = []
        for lo, hi in ((0.0, 0.001), (0.001, 0.01), (0.01, 0.03), (0.03, 0.05)):
            b = [t for t, p, f in s if lo <= p < hi]
            line.append(f"{lo:g}-{hi:g}: {sum(b) / len(b):.2f}")
        print("   no bias, share true by p:  " + ";  ".join(line))
# power 0.20, u = 0.0: simulated PPV 0.288   formula 0.286
# power 0.20, u = 0.2: simulated PPV 0.131   formula 0.130
#    no bias, share true by p:  0-0.001: 0.60;  0.001-0.01: 0.39;  0.01-0.03: 0.28;  0.03-0.05: 0.21
# power 0.80, u = 0.0: simulated PPV 0.618   formula 0.615
# power 0.80, u = 0.2: simulated PPV 0.260   formula 0.259
#    no bias, share true by p:  0-0.001: 0.97;  0.001-0.01: 0.76;  0.01-0.03: 0.42;  0.03-0.05: 0.24

模拟与公式一致:功效 0.20 时,无偏倚为 0.288 对 0.286,有偏倚为 0.131 对 0.130;功效 0.80 时为 0.618 对 0.615 与 0.260 对 0.259。差异只是抽样误差。

批评之一:把 pp 值一刀切

古德曼与格林兰在 2007 年对伊奥尼迪斯的论证提出了系统的批评 (Goodman and Greenland 2007)。他们最主要的一点是:模型只看「显著还是不显著」这一判决,而不看实际的 pp 值。一个 p=0.049p = 0.049 的结果和一个 p=0.0001p = 0.0001 的结果,在模型里都只是「阳性」。上面程序的最后一行说明了这为什么重要:在功效 0.80、没有偏倚的情形下,p<0.001p < 0.001 的发现中有 97% 是真的,而 0.03≤p<0.050.03 \le p < 0.05 的发现中只有 24%;功效 0.20 时,两者分别是 60% 与 21%。所以「已发表发现中有多少是假的」这个平均数,掩盖了证据强度的巨大差异。

他们的其他批评包括:在贝叶斯计算中加入偏倚项 uu,即使取很小的值,也会大幅削弱任何一项研究的证据作用,因此结论在相当程度上是由假设推出的;伊奥尼迪斯「越热的领域假发现越多」的论证只说明了假阳性的绝对数量更多,不是比例更高;所以「模型证明了大多数研究是错的」这一说法没有根据。不过他们也承认,这篇论文有益地提醒人们:一个假说为真的概率远不只取决于 pp 值,而且它在避免偏倚等方面给出了有用的指导。

注

伊奥尼迪斯的标题与他的推导。 「大多数已发表的研究发现是错的」是一个条件句的结论:如果一个领域的事前比值、功效与偏倚处在他假设的范围内,那么大多数发现是错的。公式本身没有争议,它就是贝叶斯定理;争议在于真实世界的 RR、功效与 uu 是多少。这些量很难直接测量,所以下一节的经验估计才会引起那么大的争论。

批评之二:经验估计

证据

贾格尔与利克的「科学范围的假发现率」。 两位统计学家在 2014 年从五种顶级医学期刊(《柳叶刀》、JAMA、《新英格兰医学杂志》、BMJ 与《美国流行病学杂志》)2000 至 2010 年间的 77,430 篇论文摘要中自动提取 pp 值(其中 5,322 篇摘要报告了至少一个 pp 值),假设小于 0.05 的 pp 值是两种分布的混合:来自真零假设的部分在 0 到 0.05 之间均匀分布,来自真实效应的部分服从截断在 0.05 处的贝塔分布,并处理了四舍五入与「p<p <」式的截尾报告。他们估计这些期刊的假发现率约为 14%(标准差 1%),各期刊在 11% 到 19% 之间,远低于「大多数是错的」 (Jager and Leek 2014a)。

这项研究在同一期《生物统计学》上引来了一组讨论文章,几乎都是批评 (Gelman and O’Rourke 2014; Ioannidis 2014)。主要的问题有:摘要中报告的 pp 值本身就是经过挑选的,而模型假设零假设下的 pp 值是均匀分布,这在存在 pp 值操纵时不成立(第三章会看到,可选停止会让显著结果的 pp 值堆积在 0.05 附近);模型把「效应不精确为零」都算作「真」,但一个真实存在却小到毫无意义的效应,算不算「真发现」本身就有争议;从摘要自动提取的 pp 值不能代表整个文献。伊奥尼迪斯的讨论文章标题就是《为什么〈科学范围假发现率的估计〉是错的》。两位作者在同期发表了答辩 (Jager and Leek 2014b);争论的焦点始终是:怎样定义「假」,以及摘要里的 pp 值能不能代表整个文献。

两边的数字都依赖难以检验的假设。伊奥尼迪斯的推导告诉我们哪些因素降低发现的可靠性;某个领域的假发现率到底是多少,最好的回答是直接去重复那些研究(第五章)。

本章小结

伊奥尼迪斯把诊断检验的贝叶斯推理用到科学发现上:阳性预测值由事前比值 RR、功效与显著性水平决定,偏倚 uu 会使它进一步下降。框架中的公式写法与原文等价;功效 0.20、R=0.1R = 0.1、u=0.20u = 0.20 时阳性预测值约为 13.0%。古德曼与格林兰指出,把 pp 值一刀切会掩盖证据强度的差异,且「大多数是错的」依赖于假设;贾格尔与利克的经验估计(约 14%)本身也依赖于有争议的假设。下一章看偏倚 uu 从哪里来:研究者在数据分析中的自由选择。

参考文献

Gelman, Andrew, and Keith O’Rourke. 2014. “Discussion: Difficulties in Making Inferences about Scientific Truth from Distributions of Published p-Values.” Biostatistics 15 (1): 18–23. https://doi.org/10.1093/biostatistics/kxt034.
Goodman, Steven, and Sander Greenland. 2007. “Why Most Published Research Findings Are False: Problems in the Analysis.” PLoS Medicine 4 (4): e168. https://doi.org/10.1371/journal.pmed.0040168.
Ioannidis, John P. A. 2005. “Why Most Published Research Findings Are False.” PLoS Medicine 2 (8): e124. https://doi.org/10.1371/journal.pmed.0020124.
Ioannidis, John P. A. 2014. “Discussion: Why ‘an Estimate of the Science-Wise False Discovery Rate and Application to the Top Medical Literature’ Is False.” Biostatistics 15 (1): 28–36. https://doi.org/10.1093/biostatistics/kxt036.
Jager, Leah R., and Jeffrey T. Leek. 2014a. “An Estimate of the Science-Wise False Discovery Rate and Application to the Top Medical Literature.” Biostatistics 15 (1): 1–12. https://doi.org/10.1093/biostatistics/kxt007.
Jager, Leah R., and Jeffrey T. Leek. 2014b. “Rejoinder: An Estimate of the Science-Wise False Discovery Rate and Application to the Top Medical Literature.” Biostatistics 15 (1): 39–45. https://doi.org/10.1093/biostatistics/kxt038.

Fan, Y. (2026). Scientific Methodology, Falsifiability and the Mathematical Statistics of the Replication Crisis: From Popper's Demarcation and p-Hacking to Ioannidis's Theorem and Pre-Registration, Read Beside Classical Chinese Evidential Scholarship [科学方法论、可证伪性与可重复性危机的数理统计] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23782104 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).