5D Library › 科学方法论、可证伪性与可重复性危机的数理统计 · English
第一章 可证伪性与研究纲领:什么才算科学命题
一个「什么都能解释」的理论
1919 年前后,年轻的卡尔·波普尔在维也纳同时接触到几种当时影响很大的理论:爱因斯坦的相对论、马克思的历史理论、弗洛伊德的精神分析与阿德勒的个体心理学。他后来回忆说,后三种理论的追随者最常说的一句话是:「你看,到处都是证据。」他举过一个例子:一个人为了淹死孩子把孩子推下水,另一个人舍身跳水救人;阿德勒的理论可以说两人都在克服自卑感(一个要证明自己敢犯罪,一个要证明自己敢救人),弗洛伊德的理论也可以同样轻松地解释两者(一个是压抑,一个是升华)。波普尔觉得不安的正是这一点:无论发生什么,理论都对。相比之下,爱因斯坦的理论预言光线经过太阳附近会弯曲一个确定的角度,1919 年日食观测可能得出不同的结果;理论冒了被驳倒的风险,却经受住了检验 (Popper 1963)。
波普尔由此提出了他的划界标准:一个理论是经验科学的,当且仅当它是可证伪的,即存在某些可以设想的观察结果,一旦出现就与理论矛盾 (Popper 1959)。这里有三点需要分清。第一,可证伪性是划分「经验科学」与「非经验科学」的标准,不是判断一句话有没有意义的标准;波普尔从不认为形而上学命题是胡说。第二,可证伪不等于已被证伪:一个好理论应当可以被驳倒,而且尚未被驳倒。第三,它依赖于一个逻辑上的不对称:无论多少次观察到白天鹅,都不能证明「所有天鹅都是白的」;而一次可靠地观察到黑天鹅,就足以否定它。
禁止得越多,说得越多
波普尔进一步主张,一个理论的经验内容由它所禁止的事态组成,也就是它的「潜在证伪者」的集合:禁止得越多,越容易被驳倒,说出的东西就越多;反过来,它在逻辑上为真的概率就越小 (Popper 1959)。这一思想后来被巴-希勒尔与卡尔纳普写成了一套语义信息理论 (Carnap and Bar-Hillel 1952; Bar-Hillel and Carnap 1953)。设所有可能世界在事先同样可能,命题 允许的世界所占的比例为 (它的逻辑概率),则
一个「无论发生什么都成立」的命题(重言式)允许所有世界,,两种信息量都是零。一个禁止除一个世界以外所有世界的命题,信息量最大。
注
语义信息不是香农信息。 框架中把这一点归于「卡尔纳普/香农信息论」,需要区分。香农 1948 年的通信理论处理的是信号在统计意义上的不确定性,他在论文开头就说明,通信的语义方面与工程问题无关 (Shannon 1948)。巴-希勒尔与卡尔纳普借用了「取对数」的形式,但把统计概率换成了逻辑概率,度量的是一句话排除了多少种可能。二者形式相似,概念不同。这个理论也有一个著名的怪结论:自相矛盾的命题排除了所有世界,信息量最大;两位作者接受了这一点,说自相矛盾的句子「断言得太多,信息多到不可能为真」。
一个玩具世界:一次实验做 10 次「是/否」观察,共 个可能世界。五个理论分别允许不同数量的世界。如果一个理论经受住了检验(观察到的世界是它允许的),它相对于「什么都能解释」的 T0 的似然比是 。然后让真实世界(每次观察为「是」的概率 0.95)把同一实验重复五次。
推导
# Empirical content on a toy world of 2**10 = 1024 equally likely sequences of 10 yes/no
# observations. A theory = the set of worlds it PERMITS; m(h) = permitted / 1024,
# cont(h) = 1 - m(h), inf(h) = -log2 m(h) bits; a survivor's likelihood ratio against
# "anything can happen" is 1 / m(h).
import math, random
from itertools import product
WORLDS = list(product((0, 1), repeat=10))
THEORIES = [
("T0 whatever happens, it fits", lambda w: True),
("T1 at least one 'yes'", lambda w: sum(w) >= 1),
("T2 more 'yes' than 'no'", lambda w: sum(w) > 5),
("T3 at least 9 of 10 'yes'", lambda w: sum(w) >= 9),
("T4 all 10 'yes'", lambda w: sum(w) == 10),
]
def measures(rule):
allowed = sum(1 for w in WORLDS if rule(w))
m = allowed / len(WORLDS)
return allowed, len(WORLDS) - allowed, 1 - m, math.log2(1 / m)
if __name__ == "__main__":
print("theory permits falsifiers cont(h) inf(h) bits"
" LR if it survives")
for name, rule in THEORIES:
a, f, cont, inf = measures(rule)
print(f"{name:29s} {a:7d} {f:11d} {cont:8.4f} {inf:11.3f} {2 ** inf:12.1f}")
# five replications of the same 10-observation experiment; the world really has P(yes)
# = 0.95
rng = random.Random(33)
runs = [tuple(int(rng.random() < 0.95) for _ in range(10)) for _ in range(5)]
print("five runs, number of 'yes' in each:", [sum(r) for r in runs])
for name, rule in THEORIES:
ok = [rule(r) for r in runs]
if all(ok):
bits = 5 * measures(rule)[3]
print(f"{name:29s} survives all 5; evidence gained vs T0 = {bits:5.1f} bits")
else:
print(f"{name:29s} REFUTED in run {ok.index(False) + 1}")
# theory permits falsifiers cont(h) inf(h) bits LR if it survives
# T0 whatever happens, it fits 1024 0 0.0000 0.000 1.0
# T1 at least one 'yes' 1023 1 0.0010 0.001 1.0
# T2 more 'yes' than 'no' 386 638 0.6230 1.408 2.7
# T3 at least 9 of 10 'yes' 11 1013 0.9893 6.541 93.1
# T4 all 10 'yes' 1 1023 0.9990 10.000 1024.0
# five runs, number of 'yes' in each: [10, 9, 9, 10, 10]
# T0 whatever happens, it fits survives all 5; evidence gained vs T0 = 0.0 bits
# T1 at least one 'yes' survives all 5; evidence gained vs T0 = 0.0 bits
# T2 more 'yes' than 'no' survives all 5; evidence gained vs T0 = 7.0 bits
# T3 at least 9 of 10 'yes' survives all 5; evidence gained vs T0 = 32.7 bits
# T4 all 10 'yes' REFUTED in run 2程序的结果把波普尔的想法变成了数字。T0「无论发生什么都对」允许全部 1024 个世界,潜在证伪者为零,信息量为零,经受住五次检验后得到的证据也是零比特:它从未冒险,所以也不能从任何结果中得到支持。T1「至少一次为是」只禁止一个世界,几乎同样空洞。T3「10 次中至少 9 次为是」禁止了 1013 个世界,每经受一次检验就获得约 6.5 比特,五次合计 32.7 比特。最大胆的 T4「10 次全为是」信息量最大(10 比特),但在第二次重复中就被驳倒了(那一次只有 9 次为是)。大胆的理论获益最多,也最容易失败;这正是波普尔所说的「冒险」。
这里的「比特」是似然比的对数,是贝叶斯式的读法(波普尔本人反对用概率衡量确证),只借来说明一点:事先什么都不禁止的理论,事后也什么都学不到。
「事后圆回来」为什么不行
更常见的不是字面上的重言式,而是失败之后的补丁:保健品没效果是因为「服用时间不够长」,模型预测错了是因为「这次市场情绪特殊」。每个补丁单独看都可能是对的;但如果补丁总在失败之后出现、除了解释这次失败什么也不预测,理论在实际使用中就变成了 T0。
证据
心理学中的「弱检验」。 心理学家与科学哲学家保罗·米尔在 1967 年指出了一个方法论上的悖论:在物理学中,测量越精确,理论面临的检验越严厉;而在当时的心理学中,常见的做法是检验「两组有没有差别」这个几乎总会在大样本中被拒绝的零假设,于是测量越精确,理论反而越容易「得到支持」 (Meehl 1967)。一个只预测「有差别」而不预测方向和大小的理论,禁止得很少。
杜恒—蒯因论题
波普尔的图景还有一个著名的困难。物理学家与科学史家皮埃尔·杜恒在 1906 年就指出,一个物理实验从来不能单独驳倒一个孤立的假说,只能驳倒一整组理论;因为从假说推出可检验的预测,总要借助仪器的理论、初始条件与其他辅助假设 (Duhem 1954)。哲学家蒯因把这一点推得更远:我们关于外部世界的陈述不是一个一个地,而是作为一个整体接受经验的检验 (Quine 1951)。所以当预测失败时,逻辑只告诉我们「理论与辅助假设不能同时为真」,并没有告诉我们该放弃哪一个。
这并不意味着「怎么都行」。实际上科学家会根据各个部分已有的证据来分配责任。科学哲学家多林在 1979 年用贝叶斯定理重新分析了这个问题 (Dorling 1979):一次失败的预测对理论 和辅助假设 的打击有多大,取决于它们事先各有多可信,以及在其他几种情形下出现这种失败有多大可能。
预测 由「理论 与辅助假设 同时成立」推出,结果 失败。 与 事先独立。三种情形的数字都是示意值。后半部分把「补丁」写成赔率:每加一个新的辅助假设,先验赔率减半;退化的补丁只解释它为之而设的那次失败(对手理论也能解释,似然比为 1),进步的补丁还预言了一个新事实,随后被观察到,而对手只给这个事实 10% 的机会(似然比 10)。
推导
# Duhem's problem in Bayesian form (the approach of Dorling 1979; the numbers are
# illustrative). A prediction E follows only from theory T TOGETHER WITH an auxiliary
# assumption A. E fails. Logic says only "not (T and A)"; how the blame is shared depends
# on the priors and on how likely the failure would be in each of the other three cases. T
# and A are independent a priori.
def after_failure(pT, pA, l_TnA, l_nTA, l_nTnA):
# l_xy = P(failure | x, y); P(failure | T, A) = 0 because T and A together entail E
TnA = pT * (1 - pA) * l_TnA
nTA = (1 - pT) * pA * l_nTA
nTnA = (1 - pT) * (1 - pA) * l_nTnA
z = TnA + nTA + nTnA
return TnA / z, nTA / z # P(T | failure), P(A | failure)
cases = [
("well-tested theory, shaky auxiliary", 0.90, 0.60, 0.50, 0.50, 0.50),
("young theory, well-tested auxiliary", 0.50, 0.95, 0.50, 0.50, 0.50),
("old theory, but failure unlikely if T holds", 0.90, 0.60, 0.01, 0.50, 0.50),
]
print("case P(T) before -> after"
" P(A) before -> after")
for label, pT, pA, *l in cases:
T, A = after_failure(pT, pA, *l)
print(f"{label:43s} {pT:.2f} -> {T:.3f} {pA:.2f} -> {A:.3f}")
# Repeated rescue, as odds of the rescued system against a rival (prior odds 9 : 1). Every
# new auxiliary costs a factor 0.5 in prior odds. A DEGENERATING patch only explains the
# failure it was made for (the rival explains it too: likelihood ratio 1). A PROGRESSIVE
# patch also predicts a new fact that is then observed and that the rival gave only a 10 %
# chance (likelihood ratio 10).
print("patches degenerating: P(system) progressive: P(system)")
for k in range(6):
deg, prog = 9 * 0.5 ** k, 9 * (0.5 * 10) ** k
print(f"{k:7d} {deg / (1 + deg):22.3f} {prog / (1 + prog):21.4f}")
# case P(T) before -> after P(A) before -> after
# well-tested theory, shaky auxiliary 0.90 -> 0.783 0.60 -> 0.130
# young theory, well-tested auxiliary 0.50 -> 0.048 0.95 -> 0.905
# old theory, but failure unlikely if T holds 0.90 -> 0.067 0.60 -> 0.560
# patches degenerating: P(system) progressive: P(system)
# 0 0.900 0.9000
# 1 0.818 0.9783
# 2 0.692 0.9956
# 3 0.529 0.9991
# 4 0.360 0.9998
# 5 0.220 1.0000第一种情形与多林讨论的历史案例相似:一个久经考验的理论(事先 0.90)加上一个不太可靠的辅助假设(事先 0.60)。预测失败后,理论的可信度只降到 0.783,辅助假设却从 0.60 跌到 0.130:责任主要落在辅助假设上,这是合理的。第二种情形反过来:一个年轻的理论(0.50)配上一个久经检验的辅助假设(0.95),失败后理论跌到 0.048。第三种情形说明,如果「理论为真而辅助假设出错」本身就很难造成这种失败,即使理论事先很可信(0.90),它也会跌到 0.067。所以杜恒—蒯因论题说的是逻辑上的不确定,而证据可以在不同部分之间作出相当明确的区分。
拉卡托斯:进步的与退化的研究纲领
伊姆雷·拉卡托斯在 1970 年提出了一个更贴近科学史的图景 (Lakatos 1970)。一个研究纲领有一个「硬核」,研究者约定不去动它;硬核周围是一圈可以调整的「保护带」,即各种辅助假设。遇到反常时,修改保护带是正常的;问题是怎样修改。如果修改之后的理论预言了新的事实,而且其中一些得到了证实,这个纲领就是进步的;如果修改只是事后迁就已知的反常、不带来任何新的预测,或者总是落在事实后面,它就是退化的。
程序后半部分显示:退化的纲领五个补丁之后,整体概率从 0.900 降到 0.220,它仍然「符合」全部数据,却越来越不可信;进步的纲领每个补丁的新预言都被证实,概率升到 0.978、0.996,直至接近 1。这是作者的示意模型(拉卡托斯本人不用贝叶斯语言),把他的标准写成可计算的形式:判断一个补丁,不看它能否解释已知事实,而看它有没有预言未知事实。
后面几章的统计问题,都是「事后圆回来」在数据分析中的版本:看到数据之后挑选结局、样本量、协变量或子群,就像预测失败之后挑选辅助假设。第六章的预注册,就是要求在看到数据之前写下理论禁止什么。
假说 · 尚未验证
尚未确立:一个可以检验的推论。 如果「事先写下禁止什么」确实能区分进步与退化,那么在同一个研究领域中,带有事先注册的、具体到方向和大小的预测的研究,其结果在独立重复中的成功率应当高于没有这种预测的研究。如果在控制样本量与原始证据强度之后,两类研究的重复成功率没有差别,这个推论就是错的。
本章小结
波普尔的可证伪性把科学命题定义为「可能被观察驳倒」的命题;他把理论的经验内容等同于它所禁止的事态,巴-希勒尔与卡尔纳普用逻辑概率把这一点写成了语义信息量。一个事先什么都不禁止的理论,信息量为零,也不能从任何观察中得到支持。杜恒—蒯因论题说明预测失败时逻辑不能指明该放弃哪一部分,但贝叶斯分析显示,证据常常能把责任相当明确地分配给理论或辅助假设。拉卡托斯的标准是:好的修改要预言新的事实。下一章转向统计学:当一个研究领域中大多数被检验的假说本来就是错的,一个「显著」的发现有多大概率为真?
参考文献
Fan, Y. (2026). Scientific Methodology, Falsifiability and the Mathematical Statistics of the Replication Crisis: From Popper's Demarcation and p-Hacking to Ioannidis's Theorem and Pre-Registration, Read Beside Classical Chinese Evidential Scholarship [科学方法论、可证伪性与可重复性危机的数理统计] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23782104 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).