5D Library › 科学方法论、可证伪性与可重复性危机的数理统计 · English

第一章 可证伪性与研究纲领:什么才算科学命题

一个「什么都能解释」的理论

1919 年前后,年轻的卡尔·波普尔在维也纳同时接触到几种当时影响很大的理论:爱因斯坦的相对论、马克思的历史理论、弗洛伊德的精神分析与阿德勒的个体心理学。他后来回忆说,后三种理论的追随者最常说的一句话是:「你看,到处都是证据。」他举过一个例子:一个人为了淹死孩子把孩子推下水,另一个人舍身跳水救人;阿德勒的理论可以说两人都在克服自卑感(一个要证明自己敢犯罪,一个要证明自己敢救人),弗洛伊德的理论也可以同样轻松地解释两者(一个是压抑,一个是升华)。波普尔觉得不安的正是这一点:无论发生什么,理论都对。相比之下,爱因斯坦的理论预言光线经过太阳附近会弯曲一个确定的角度,1919 年日食观测可能得出不同的结果;理论冒了被驳倒的风险,却经受住了检验 (Popper 1963)。

波普尔由此提出了他的划界标准:一个理论是经验科学的,当且仅当它是可证伪的,即存在某些可以设想的观察结果,一旦出现就与理论矛盾 (Popper 1959)。这里有三点需要分清。第一,可证伪性是划分「经验科学」与「非经验科学」的标准,不是判断一句话有没有意义的标准;波普尔从不认为形而上学命题是胡说。第二,可证伪不等于已被证伪:一个好理论应当可以被驳倒,而且尚未被驳倒。第三,它依赖于一个逻辑上的不对称:无论多少次观察到白天鹅,都不能证明「所有天鹅都是白的」;而一次可靠地观察到黑天鹅,就足以否定它。

禁止得越多,说得越多

波普尔进一步主张,一个理论的经验内容由它所禁止的事态组成,也就是它的「潜在证伪者」的集合:禁止得越多,越容易被驳倒,说出的东西就越多;反过来,它在逻辑上为真的概率就越小 (Popper 1959)。这一思想后来被巴-希勒尔与卡尔纳普写成了一套语义信息理论 (Carnap and Bar-Hillel 1952; Bar-Hillel and Carnap 1953)。设所有可能世界在事先同样可能,命题 hh 允许的世界所占的比例为 m(h)m(h)(它的逻辑概率),则

cont(h)=1−m(h),inf(h)=log⁡21m(h) 比特.\mathrm{cont}(h) = 1 – m(h), \qquad \mathrm{inf}(h) = \log_2 \frac{1}{m(h)} \text{ 比特}.

一个「无论发生什么都成立」的命题(重言式)允许所有世界,m=1m = 1,两种信息量都是零。一个禁止除一个世界以外所有世界的命题,信息量最大。

注

语义信息不是香农信息。 框架中把这一点归于「卡尔纳普/香农信息论」,需要区分。香农 1948 年的通信理论处理的是信号在统计意义上的不确定性,他在论文开头就说明,通信的语义方面与工程问题无关 (Shannon 1948)。巴-希勒尔与卡尔纳普借用了「取对数」的形式,但把统计概率换成了逻辑概率,度量的是一句话排除了多少种可能。二者形式相似,概念不同。这个理论也有一个著名的怪结论:自相矛盾的命题排除了所有世界,信息量最大;两位作者接受了这一点,说自相矛盾的句子「断言得太多,信息多到不可能为真」。

一个玩具世界:一次实验做 10 次「是/否」观察,共 210=10242^{10} = 1024 个可能世界。五个理论分别允许不同数量的世界。如果一个理论经受住了检验(观察到的世界是它允许的),它相对于「什么都能解释」的 T0 的似然比是 1/m(h)1/m(h)。然后让真实世界(每次观察为「是」的概率 0.95)把同一实验重复五次。

推导

# Empirical content on a toy world of 2**10 = 1024 equally likely sequences of 10 yes/no
# observations. A theory = the set of worlds it PERMITS; m(h) = permitted / 1024,
# cont(h) = 1 - m(h), inf(h) = -log2 m(h) bits; a survivor's likelihood ratio against
# "anything can happen" is 1 / m(h).
import math, random
from itertools import product

WORLDS = list(product((0, 1), repeat=10))
THEORIES = [
    ("T0 whatever happens, it fits", lambda w: True),
    ("T1 at least one 'yes'", lambda w: sum(w) >= 1),
    ("T2 more 'yes' than 'no'", lambda w: sum(w) > 5),
    ("T3 at least 9 of 10 'yes'", lambda w: sum(w) >= 9),
    ("T4 all 10 'yes'", lambda w: sum(w) == 10),
]

def measures(rule):
    allowed = sum(1 for w in WORLDS if rule(w))
    m = allowed / len(WORLDS)
    return allowed, len(WORLDS) - allowed, 1 - m, math.log2(1 / m)

if __name__ == "__main__":
    print("theory                        permits  falsifiers  cont(h)  inf(h) bits"
          "  LR if it survives")
    for name, rule in THEORIES:
        a, f, cont, inf = measures(rule)
        print(f"{name:29s} {a:7d} {f:11d} {cont:8.4f} {inf:11.3f} {2 ** inf:12.1f}")
    # five replications of the same 10-observation experiment; the world really has P(yes)
    # = 0.95
    rng = random.Random(33)
    runs = [tuple(int(rng.random() < 0.95) for _ in range(10)) for _ in range(5)]
    print("five runs, number of 'yes' in each:", [sum(r) for r in runs])
    for name, rule in THEORIES:
        ok = [rule(r) for r in runs]
        if all(ok):
            bits = 5 * measures(rule)[3]
            print(f"{name:29s} survives all 5; evidence gained vs T0 = {bits:5.1f} bits")
        else:
            print(f"{name:29s} REFUTED in run {ok.index(False) + 1}")
# theory                        permits  falsifiers  cont(h)  inf(h) bits  LR if it survives
# T0 whatever happens, it fits     1024           0   0.0000       0.000          1.0
# T1 at least one 'yes'            1023           1   0.0010       0.001          1.0
# T2 more 'yes' than 'no'           386         638   0.6230       1.408          2.7
# T3 at least 9 of 10 'yes'          11        1013   0.9893       6.541         93.1
# T4 all 10 'yes'                     1        1023   0.9990      10.000       1024.0
# five runs, number of 'yes' in each: [10, 9, 9, 10, 10]
# T0 whatever happens, it fits  survives all 5; evidence gained vs T0 =   0.0 bits
# T1 at least one 'yes'         survives all 5; evidence gained vs T0 =   0.0 bits
# T2 more 'yes' than 'no'       survives all 5; evidence gained vs T0 =   7.0 bits
# T3 at least 9 of 10 'yes'     survives all 5; evidence gained vs T0 =  32.7 bits
# T4 all 10 'yes'               REFUTED in run 2

程序的结果把波普尔的想法变成了数字。T0「无论发生什么都对」允许全部 1024 个世界,潜在证伪者为零,信息量为零,经受住五次检验后得到的证据也是零比特:它从未冒险,所以也不能从任何结果中得到支持。T1「至少一次为是」只禁止一个世界,几乎同样空洞。T3「10 次中至少 9 次为是」禁止了 1013 个世界,每经受一次检验就获得约 6.5 比特,五次合计 32.7 比特。最大胆的 T4「10 次全为是」信息量最大(10 比特),但在第二次重复中就被驳倒了(那一次只有 9 次为是)。大胆的理论获益最多,也最容易失败;这正是波普尔所说的「冒险」。

这里的「比特」是似然比的对数,是贝叶斯式的读法(波普尔本人反对用概率衡量确证),只借来说明一点:事先什么都不禁止的理论,事后也什么都学不到。

「事后圆回来」为什么不行

更常见的不是字面上的重言式,而是失败之后的补丁:保健品没效果是因为「服用时间不够长」,模型预测错了是因为「这次市场情绪特殊」。每个补丁单独看都可能是对的;但如果补丁总在失败之后出现、除了解释这次失败什么也不预测,理论在实际使用中就变成了 T0。

证据

心理学中的「弱检验」。 心理学家与科学哲学家保罗·米尔在 1967 年指出了一个方法论上的悖论:在物理学中,测量越精确,理论面临的检验越严厉;而在当时的心理学中,常见的做法是检验「两组有没有差别」这个几乎总会在大样本中被拒绝的零假设,于是测量越精确,理论反而越容易「得到支持」 (Meehl 1967)。一个只预测「有差别」而不预测方向和大小的理论,禁止得很少。

杜恒—蒯因论题

波普尔的图景还有一个著名的困难。物理学家与科学史家皮埃尔·杜恒在 1906 年就指出,一个物理实验从来不能单独驳倒一个孤立的假说,只能驳倒一整组理论;因为从假说推出可检验的预测,总要借助仪器的理论、初始条件与其他辅助假设 (Duhem 1954)。哲学家蒯因把这一点推得更远:我们关于外部世界的陈述不是一个一个地,而是作为一个整体接受经验的检验 (Quine 1951)。所以当预测失败时,逻辑只告诉我们「理论与辅助假设不能同时为真」,并没有告诉我们该放弃哪一个。

这并不意味着「怎么都行」。实际上科学家会根据各个部分已有的证据来分配责任。科学哲学家多林在 1979 年用贝叶斯定理重新分析了这个问题 (Dorling 1979):一次失败的预测对理论 TT 和辅助假设 AA 的打击有多大,取决于它们事先各有多可信,以及在其他几种情形下出现这种失败有多大可能。

预测 EE 由「理论 TT 与辅助假设 AA 同时成立」推出,结果 EE 失败。TT 与 AA 事先独立。三种情形的数字都是示意值。后半部分把「补丁」写成赔率:每加一个新的辅助假设,先验赔率减半;退化的补丁只解释它为之而设的那次失败(对手理论也能解释,似然比为 1),进步的补丁还预言了一个新事实,随后被观察到,而对手只给这个事实 10% 的机会(似然比 10)。

推导

# Duhem's problem in Bayesian form (the approach of Dorling 1979; the numbers are
# illustrative). A prediction E follows only from theory T TOGETHER WITH an auxiliary
# assumption A. E fails. Logic says only "not (T and A)"; how the blame is shared depends
# on the priors and on how likely the failure would be in each of the other three cases. T
# and A are independent a priori.
def after_failure(pT, pA, l_TnA, l_nTA, l_nTnA):
    # l_xy = P(failure | x, y); P(failure | T, A) = 0 because T and A together entail E
    TnA = pT * (1 - pA) * l_TnA
    nTA = (1 - pT) * pA * l_nTA
    nTnA = (1 - pT) * (1 - pA) * l_nTnA
    z = TnA + nTA + nTnA
    return TnA / z, nTA / z          # P(T | failure), P(A | failure)

cases = [
    ("well-tested theory, shaky auxiliary", 0.90, 0.60, 0.50, 0.50, 0.50),
    ("young theory, well-tested auxiliary", 0.50, 0.95, 0.50, 0.50, 0.50),
    ("old theory, but failure unlikely if T holds", 0.90, 0.60, 0.01, 0.50, 0.50),
]
print("case                                        P(T) before -> after"
      "    P(A) before -> after")
for label, pT, pA, *l in cases:
    T, A = after_failure(pT, pA, *l)
    print(f"{label:43s} {pT:.2f} -> {T:.3f}           {pA:.2f} -> {A:.3f}")

# Repeated rescue, as odds of the rescued system against a rival (prior odds 9 : 1). Every
# new auxiliary costs a factor 0.5 in prior odds. A DEGENERATING patch only explains the
# failure it was made for (the rival explains it too: likelihood ratio 1). A PROGRESSIVE
# patch also predicts a new fact that is then observed and that the rival gave only a 10 %
# chance (likelihood ratio 10).
print("patches   degenerating: P(system)   progressive: P(system)")
for k in range(6):
    deg, prog = 9 * 0.5 ** k, 9 * (0.5 * 10) ** k
    print(f"{k:7d}   {deg / (1 + deg):22.3f}   {prog / (1 + prog):21.4f}")
# case                                        P(T) before -> after    P(A) before -> after
# well-tested theory, shaky auxiliary         0.90 -> 0.783           0.60 -> 0.130
# young theory, well-tested auxiliary         0.50 -> 0.048           0.95 -> 0.905
# old theory, but failure unlikely if T holds 0.90 -> 0.067           0.60 -> 0.560
# patches   degenerating: P(system)   progressive: P(system)
#       0                    0.900                  0.9000
#       1                    0.818                  0.9783
#       2                    0.692                  0.9956
#       3                    0.529                  0.9991
#       4                    0.360                  0.9998
#       5                    0.220                  1.0000

第一种情形与多林讨论的历史案例相似:一个久经考验的理论(事先 0.90)加上一个不太可靠的辅助假设(事先 0.60)。预测失败后,理论的可信度只降到 0.783,辅助假设却从 0.60 跌到 0.130:责任主要落在辅助假设上,这是合理的。第二种情形反过来:一个年轻的理论(0.50)配上一个久经检验的辅助假设(0.95),失败后理论跌到 0.048。第三种情形说明,如果「理论为真而辅助假设出错」本身就很难造成这种失败,即使理论事先很可信(0.90),它也会跌到 0.067。所以杜恒—蒯因论题说的是逻辑上的不确定,而证据可以在不同部分之间作出相当明确的区分。

拉卡托斯:进步的与退化的研究纲领

伊姆雷·拉卡托斯在 1970 年提出了一个更贴近科学史的图景 (Lakatos 1970)。一个研究纲领有一个「硬核」,研究者约定不去动它;硬核周围是一圈可以调整的「保护带」,即各种辅助假设。遇到反常时,修改保护带是正常的;问题是怎样修改。如果修改之后的理论预言了新的事实,而且其中一些得到了证实,这个纲领就是进步的;如果修改只是事后迁就已知的反常、不带来任何新的预测,或者总是落在事实后面,它就是退化的。

程序后半部分显示:退化的纲领五个补丁之后,整体概率从 0.900 降到 0.220,它仍然「符合」全部数据,却越来越不可信;进步的纲领每个补丁的新预言都被证实,概率升到 0.978、0.996,直至接近 1。这是作者的示意模型(拉卡托斯本人不用贝叶斯语言),把他的标准写成可计算的形式:判断一个补丁,不看它能否解释已知事实,而看它有没有预言未知事实。

后面几章的统计问题,都是「事后圆回来」在数据分析中的版本:看到数据之后挑选结局、样本量、协变量或子群,就像预测失败之后挑选辅助假设。第六章的预注册,就是要求在看到数据之前写下理论禁止什么。

假说 · 尚未验证

尚未确立:一个可以检验的推论。 如果「事先写下禁止什么」确实能区分进步与退化,那么在同一个研究领域中,带有事先注册的、具体到方向和大小的预测的研究,其结果在独立重复中的成功率应当高于没有这种预测的研究。如果在控制样本量与原始证据强度之后,两类研究的重复成功率没有差别,这个推论就是错的。

本章小结

波普尔的可证伪性把科学命题定义为「可能被观察驳倒」的命题;他把理论的经验内容等同于它所禁止的事态,巴-希勒尔与卡尔纳普用逻辑概率把这一点写成了语义信息量。一个事先什么都不禁止的理论,信息量为零,也不能从任何观察中得到支持。杜恒—蒯因论题说明预测失败时逻辑不能指明该放弃哪一部分,但贝叶斯分析显示,证据常常能把责任相当明确地分配给理论或辅助假设。拉卡托斯的标准是:好的修改要预言新的事实。下一章转向统计学:当一个研究领域中大多数被检验的假说本来就是错的,一个「显著」的发现有多大概率为真?

参考文献

Bar-Hillel, Yehoshua, and Rudolf Carnap. 1953. “Semantic Information.” The British Journal for the Philosophy of Science 4 (14): 147–57.
Carnap, Rudolf, and Yehoshua Bar-Hillel. 1952. An Outline of a Theory of Semantic Information. Technical Report No. 247. Research Laboratory of Electronics, Massachusetts Institute of Technology.
Dorling, Jon. 1979. “Bayesian Personalism, the Methodology of Scientific Research Programmes, and Duhem’s Problem.” Studies in History and Philosophy of Science 10 (3): 177–87.
Duhem, Pierre. 1954. The Aim and Structure of Physical Theory. Princeton University Press.
Lakatos, Imre. 1970. “Falsification and the Methodology of Scientific Research Programmes.” In Criticism and the Growth of Knowledge, edited by Imre Lakatos and Alan Musgrave. Cambridge University Press.
Meehl, Paul E. 1967. “Theory-Testing in Psychology and Physics: A Methodological Paradox.” Philosophy of Science 34 (2): 103–15. https://doi.org/10.1086/288135.
Popper, Karl R. 1959. The Logic of Scientific Discovery. Hutchinson.
Popper, Karl R. 1963. Conjectures and Refutations: The Growth of Scientific Knowledge. Routledge & Kegan Paul.
Quine, Willard Van Orman. 1951. “Two Dogmas of Empiricism.” The Philosophical Review 60 (1): 20–43.
Shannon, Claude E. 1948. “A Mathematical Theory of Communication.” Bell System Technical Journal 27 (3–4): 379–423, 623–56.

Fan, Y. (2026). Scientific Methodology, Falsifiability and the Mathematical Statistics of the Replication Crisis: From Popper's Demarcation and p-Hacking to Ioannidis's Theorem and Pre-Registration, Read Beside Classical Chinese Evidential Scholarship [科学方法论、可证伪性与可重复性危机的数理统计] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23782104 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).