5D Library › 科学方法论、可证伪性与可重复性危机的数理统计 · English
第二章 为什么大多数已发表的发现可能是错的:伊奥尼迪斯的推导
从诊断检验到研究发现
筛查结果阳性的人真的有病的概率,不只取决于检验的准确度,还取决于这种病本来有多常见;第 26 本第三章讨论过这种「基础率」问题。2005 年,流行病学家约翰·伊奥尼迪斯把同样的推理用在了科学研究本身 (Ioannidis 2005)。把一个研究领域中被检验的所有「关系」(某基因与某病、某干预与某结局……)看成被筛查的人群;「真实存在的关系」就是「有病」,统计检验就是筛查,「显著」就是阳性。那么一个已发表的显著发现为真的概率,即阳性预测值(PPV),取决于三样东西:被检验的关系中真关系占多少、检验的功效、以及显著性水平。
推导
设 为被检验的关系中「真关系与无关系之比」(事前比值), 为功效, 为显著性水平。在 个被检验的关系中,真关系有 个,其中 被检出;无关系有 个,其中 被误报。于是
伊奥尼迪斯再引入偏倚 :在本来不会成为「发现」的分析中,有比例 因为设计、分析或报告上的偏倚而仍被当作发现报告。于是真关系中被报告为发现的比例变成 ,无关系中变成 :
这是伊奥尼迪斯原文的写法。作者框架中的写法是 。把分母展开:,,所以两个分母逐项相同,两种写法完全等价。
两种写法逐一比较;计算框架中的示例(功效 0.20、、);重算伊奥尼迪斯原文表 4 的九行;以及多个独立团队检验同一问题、只要有一个显著就算「发现」时的公式 。
推导
# Positive predictive value of a "research finding" (Ioannidis 2005, PLoS Med 2: e124). R
# = pre-study odds of a true relationship among those probed, 1 - beta = power, alpha =
# 0.05, u = share of analyses that would not have been findings but are reported as
# findings through bias.
def ppv_ioannidis(power, R, u, alpha=0.05):
beta = 1 - power
return (((1 - beta) * R + u * beta * R)
/ (R + alpha - beta * R + u - u * alpha + u * beta * R))
def ppv_author(power, R, u, alpha=0.05):
# the framework's form: [(1-b)R + u b R] / [(1-b)R + alpha + u b R + u(1-alpha)]
beta = 1 - power
num = (1 - beta) * R + u * beta * R
return num / ((1 - beta) * R + alpha + u * beta * R + u * (1 - alpha))
def ppv_teams(power, R, n, alpha=0.05):
# n independent teams probe the same question; a "finding" if at least one is
# significant
beta = 1 - power
return R * (1 - beta ** n) / (R + 1 - (1 - alpha) ** n - R * beta ** n)
if __name__ == "__main__":
grid = [(p / 20, r / 10, u / 20) for p in range(1, 20) for r in range(1, 31)
for u in range(21)]
diff = max(abs(ppv_ioannidis(*g) - ppv_author(*g)) for g in grid)
print(f"largest difference between the two forms over {len(grid)} parameter sets:"
f" {diff:.1e}")
vals = ", ".join(f"{ppv_ioannidis(0.20, 0.1, u):.4f} (u = {u})"
for u in (0.2, 0.3, 0.0))
print("power 0.20, R = 0.1: PPV = " + vals)
print("Table 4 of Ioannidis 2005, recomputed: power R u PPV (paper)")
rows = [(0.80, 1, 0.10, "0.85"), (0.95, 2, 0.30, "0.85"), (0.80, 1 / 3, 0.40, "0.41"),
(0.20, 1 / 5, 0.20, "0.23"), (0.20, 1 / 5, 0.80, "0.17"),
(0.80, 1 / 10, 0.30, "0.20"),
(0.20, 1 / 10, 0.30, "0.12"), (0.20, 1 / 1000, 0.80, "0.0010"),
(0.20, 1 / 1000, 0.20, "0.0015")]
for pw, R, u, paper in rows:
f = ppv_ioannidis(pw, R, u)
print(f"{'':39s}{pw:.2f} {R:7.4f} {u:.2f} {f:.4f} ({paper})")
print("n independent teams, no bias, R = 0.1: n = 1 5 10")
for pw in (0.20, 0.80):
vals = " ".join(f"{ppv_teams(pw, 0.1, n):.3f}" for n in (1, 5, 10))
print(f" power {pw:.2f}{'':27s}" + vals)
# largest difference between the two forms over 11970 parameter sets: 1.1e-15
# power 0.20, R = 0.1: PPV = 0.1304 (u = 0.2), 0.1161 (u = 0.3), 0.2857 (u = 0.0)
# Table 4 of Ioannidis 2005, recomputed: power R u PPV (paper)
# 0.80 1.0000 0.10 0.8497 (0.85)
# 0.95 2.0000 0.30 0.8521 (0.85)
# 0.80 0.3333 0.40 0.4055 (0.41)
# 0.20 0.2000 0.20 0.2308 (0.23)
# 0.20 0.2000 0.80 0.1718 (0.17)
# 0.80 0.1000 0.30 0.2043 (0.20)
# 0.20 0.1000 0.30 0.1161 (0.12)
# 0.20 0.0010 0.80 0.0010 (0.0010)
# 0.20 0.0010 0.20 0.0015 (0.0015)
# n independent teams, no bias, R = 0.1: n = 1 5 10
# power 0.20 0.286 0.229 0.182
# power 0.80 0.615 0.306 0.199在 11,970 组参数上,两种写法的最大差异是 量级,只是计算机的舍入误差。框架中的示例算出来是 0.1304,即约 13.0%,而不是作者估计的约 12.8%;伊奥尼迪斯表 4 中功效 0.20、 为 1:10 的那一行写的是 0.12,但它对应的偏倚是 (程序算出 0.1161)。如果完全没有偏倚,同样的功效与事前比值给出 0.2857。表 4 的九行全部能由公式重现。
图一把这些关系画了出来。功效 0.80、没有偏倚时,事前比值要高于约 1:16,阳性预测值才超过一半;功效降到 0.20,或者加上 的偏倚,曲线整体右移,在探索性研究常见的事前比值下,大部分「发现」都不成立。
多团队公式说明了另一件事:当多个团队各自检验同一个问题、只要有一个显著就会被报告时,功效 0.20 的情况下,阳性预测值从一个团队的 0.286 降到五个团队的 0.229、十个团队的 0.182。伊奥尼迪斯由此得出一组推论:研究越小、效应越小、被检验的关系越多且越少事先筛选、设计与分析越灵活、利益牵涉越大、领域越「热」,研究发现为真的可能就越低 (Ioannidis 2005)。
用模拟检验公式。每项研究是一次双侧 检验;被检验的关系中真关系占 ();真关系的平均 值使功效为 0.20 或 0.80;有偏倚时,不显著的分析仍以概率 被报告为发现。每种情形模拟 40 万项研究。最后一行按 值大小分组,看「显著发现中真关系所占比例」。
推导
# The PPV formula checked by simulation, and Goodman & Greenland's (2007) point that p =
# 0.049 and p = 0.0001 are not equally strong evidence. Two-sided z-tests; true
# relationships are R / (1 + R) of those probed (R = 0.1), with mean z giving power 0.20
# or 0.80; with bias u a non-significant analysis is still reported as a finding with
# probability u.
import math, random
from statistics import NormalDist
N = NormalDist()
def simulate(rng, R, delta, u, n=400000):
studies = []
for _ in range(n):
true = rng.random() < R / (1 + R)
z = rng.gauss(delta if true else 0.0, 1)
p = 2 * (1 - N.cdf(abs(z)))
finding = p < 0.05 or rng.random() < u
studies.append((true, p, finding))
return studies
def ppv(rows):
found = [t for t, p, f in rows if f]
return sum(found) / len(found)
if __name__ == "__main__":
rng = random.Random(2005)
for power, delta in ((0.20, 1.96 - 0.8416), (0.80, 1.96 + 0.8416)):
for u in (0.0, 0.2):
s = simulate(rng, 0.1, delta, u)
beta = 1 - power
R, a = 0.1, 0.05
f = (power * R + u * beta * R) / (R + a - beta * R + u - u * a + u * beta * R)
print(f"power {power:.2f}, u = {u:.1f}: simulated PPV {ppv(s):.3f}"
f" formula {f:.3f}")
s = simulate(rng, 0.1, delta, 0.0)
line = []
for lo, hi in ((0.0, 0.001), (0.001, 0.01), (0.01, 0.03), (0.03, 0.05)):
b = [t for t, p, f in s if lo <= p < hi]
line.append(f"{lo:g}-{hi:g}: {sum(b) / len(b):.2f}")
print(" no bias, share true by p: " + "; ".join(line))
# power 0.20, u = 0.0: simulated PPV 0.288 formula 0.286
# power 0.20, u = 0.2: simulated PPV 0.131 formula 0.130
# no bias, share true by p: 0-0.001: 0.60; 0.001-0.01: 0.39; 0.01-0.03: 0.28; 0.03-0.05: 0.21
# power 0.80, u = 0.0: simulated PPV 0.618 formula 0.615
# power 0.80, u = 0.2: simulated PPV 0.260 formula 0.259
# no bias, share true by p: 0-0.001: 0.97; 0.001-0.01: 0.76; 0.01-0.03: 0.42; 0.03-0.05: 0.24模拟与公式一致:功效 0.20 时,无偏倚为 0.288 对 0.286,有偏倚为 0.131 对 0.130;功效 0.80 时为 0.618 对 0.615 与 0.260 对 0.259。差异只是抽样误差。
批评之一:把 值一刀切
古德曼与格林兰在 2007 年对伊奥尼迪斯的论证提出了系统的批评 (Goodman and Greenland 2007)。他们最主要的一点是:模型只看「显著还是不显著」这一判决,而不看实际的 值。一个 的结果和一个 的结果,在模型里都只是「阳性」。上面程序的最后一行说明了这为什么重要:在功效 0.80、没有偏倚的情形下, 的发现中有 97% 是真的,而 的发现中只有 24%;功效 0.20 时,两者分别是 60% 与 21%。所以「已发表发现中有多少是假的」这个平均数,掩盖了证据强度的巨大差异。
他们的其他批评包括:在贝叶斯计算中加入偏倚项 ,即使取很小的值,也会大幅削弱任何一项研究的证据作用,因此结论在相当程度上是由假设推出的;伊奥尼迪斯「越热的领域假发现越多」的论证只说明了假阳性的绝对数量更多,不是比例更高;所以「模型证明了大多数研究是错的」这一说法没有根据。不过他们也承认,这篇论文有益地提醒人们:一个假说为真的概率远不只取决于 值,而且它在避免偏倚等方面给出了有用的指导。
注
伊奥尼迪斯的标题与他的推导。 「大多数已发表的研究发现是错的」是一个条件句的结论:如果一个领域的事前比值、功效与偏倚处在他假设的范围内,那么大多数发现是错的。公式本身没有争议,它就是贝叶斯定理;争议在于真实世界的 、功效与 是多少。这些量很难直接测量,所以下一节的经验估计才会引起那么大的争论。
批评之二:经验估计
证据
贾格尔与利克的「科学范围的假发现率」。 两位统计学家在 2014 年从五种顶级医学期刊(《柳叶刀》、JAMA、《新英格兰医学杂志》、BMJ 与《美国流行病学杂志》)2000 至 2010 年间的 77,430 篇论文摘要中自动提取 值(其中 5,322 篇摘要报告了至少一个 值),假设小于 0.05 的 值是两种分布的混合:来自真零假设的部分在 0 到 0.05 之间均匀分布,来自真实效应的部分服从截断在 0.05 处的贝塔分布,并处理了四舍五入与「」式的截尾报告。他们估计这些期刊的假发现率约为 14%(标准差 1%),各期刊在 11% 到 19% 之间,远低于「大多数是错的」 (Jager and Leek 2014a)。
这项研究在同一期《生物统计学》上引来了一组讨论文章,几乎都是批评 (Gelman and O’Rourke 2014; Ioannidis 2014)。主要的问题有:摘要中报告的 值本身就是经过挑选的,而模型假设零假设下的 值是均匀分布,这在存在 值操纵时不成立(第三章会看到,可选停止会让显著结果的 值堆积在 0.05 附近);模型把「效应不精确为零」都算作「真」,但一个真实存在却小到毫无意义的效应,算不算「真发现」本身就有争议;从摘要自动提取的 值不能代表整个文献。伊奥尼迪斯的讨论文章标题就是《为什么〈科学范围假发现率的估计〉是错的》。两位作者在同期发表了答辩 (Jager and Leek 2014b);争论的焦点始终是:怎样定义「假」,以及摘要里的 值能不能代表整个文献。
两边的数字都依赖难以检验的假设。伊奥尼迪斯的推导告诉我们哪些因素降低发现的可靠性;某个领域的假发现率到底是多少,最好的回答是直接去重复那些研究(第五章)。
本章小结
伊奥尼迪斯把诊断检验的贝叶斯推理用到科学发现上:阳性预测值由事前比值 、功效与显著性水平决定,偏倚 会使它进一步下降。框架中的公式写法与原文等价;功效 0.20、、 时阳性预测值约为 13.0%。古德曼与格林兰指出,把 值一刀切会掩盖证据强度的差异,且「大多数是错的」依赖于假设;贾格尔与利克的经验估计(约 14%)本身也依赖于有争议的假设。下一章看偏倚 从哪里来:研究者在数据分析中的自由选择。
参考文献
Fan, Y. (2026). Scientific Methodology, Falsifiability and the Mathematical Statistics of the Replication Crisis: From Popper's Demarcation and p-Hacking to Ioannidis's Theorem and Pre-Registration, Read Beside Classical Chinese Evidential Scholarship [科学方法论、可证伪性与可重复性危机的数理统计] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23782104 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).