5D Library

第三章 基础率忽略与自然频率

5D Library › 概率判断、布莱尔分数校准与群体智慧的统计理论 · English

第三章 基础率忽略与自然频率

代表性与被忽略的基础率

1974 年，特沃斯基与卡尼曼在《科学》上总结了人在不确定条件下判断时常用的几种启发法 (Tversky and Kahneman 1974)。其中之一是代表性：判断一个人属于哪一类，看的是他「像不像」这一类，而不是这一类在总体中有多少。在更早的一项实验中，参与者读到一段人物描写，被告知此人来自一个由 70 名工程师和 30 名律师组成的群体（或者反过来，30 名工程师和 70 名律师），然后估计此人是工程师的概率。两种条件下的估计几乎一样：参与者几乎只看描写像不像工程师，而忽略了 70 比 30 的基础率 (Kahneman and Tversky 1973)。

证据

出租车问题与「相关性」。 巴-希勒尔在 1980 年的综述中分析了一个著名的问题：某城市 85% 的出租车是绿色的，15% 是蓝色的；一辆出租车夜间肇事逃逸，一位目击者说是蓝色的，而在类似条件下他辨认颜色的正确率为 80%。肇事车是蓝色的概率是多少？大多数人回答 80% 左右，而按贝叶斯定理，答案约为 41%。巴-希勒尔认为，基础率被忽略，主要是因为人们觉得它与眼前的个案「不相关」；当基础率被表述得更具体、更与个案相关时（例如说明 85% 的事故涉及绿色出租车），人们就更多地使用它 (Bar-Hillel 1980)。

基础率忽略并不意味着人们完全不用基础率，而是在有了个案信息之后，给基础率的权重远低于它应得的权重。

医生与阳性检测

证据

哈佛医学院的问题。 1978 年，卡斯塞尔斯等人向哈佛医学院的 60 名学生、住院医师与主治医师提出一个问题：某病的患病率为千分之一，检测的假阳性率为 5%；一个人检测为阳性，他患病的概率是多少？若假设检测不会漏诊，正确答案约为 2%。只有 11 人（18%）答对，最常见的答案是 95%，有 27 人（45%）这样回答 (Casscells, Schoenberger, and Graboys 1978)。2014 年，曼雷等人向 61 名医生与医学生重复了这个问题，14 人（23%）答对，27 人（44%）仍然回答 95% (Manrai et al. 2014)。

95% 这个答案混淆了两个条件概率：P(阳性∣患病)P(\text{阳性} \mid \text{患病}) 与 P(患病∣阳性)P(\text{患病} \mid \text{阳性})。检测的灵敏度描述的是前者，而医生和病人关心的是后者，即阳性预测值。

推导

设患病率为 1%，检测的灵敏度与特异度都是 95%。贝叶斯公式给出

P(患病∣+)=0.95×0.010.95×0.01+0.05×0.99≈0.161.P(\text{患病} \mid +) = \frac{0.95 \times 0.01}{0.95 \times 0.01 + 0.05 \times 0.99} \approx 0.161.

同样的计算也可以写成「自然频率」：想象 1,000 个人。程序同时给出公式、1,000 人与 10,000 人的频率树、阳性预测值随患病率的变化，以及第二次独立阳性检测之后的概率。

推导

# Positive predictive value: prevalence 1 %, sensitivity and specificity 95 %; formula and
# natural-frequency trees. A repeat test is assumed independent given the condition.


def ppv(prev, sens, spec):
    tp = sens * prev
    fp = (1 - spec) * (1 - prev)
    return tp / (tp + fp)

def tree(n, prev, sens, spec):
    sick = n * prev
    healthy = n - sick
    tp, fp = sick * sens, healthy * (1 - spec)
    print(f"{n:,} people")
    print(f"  {sick:>5g} with the condition -> {tp:>4g} positive, {sick - tp:g} neg")
    print(f"  {healthy:>5g} without it         -> {fp:>4g} positive, {healthy - fp:g} neg")
    print(f"  positives: {tp:g} + {fp:g} = {tp + fp:g}; true among them {tp:g}/{tp + fp:g}"
          f" = {tp / (tp + fp):.1%}")

if __name__ == "__main__":
    print(f"formula: P(condition | +) = 0.95 x 0.01 / (0.95 x 0.01 + 0.05 x 0.99)"
          f" = {ppv(0.01, 0.95, 0.95):.4f}")
    tree(1000, 0.01, 0.95, 0.95)
    tree(10000, 0.01, 0.95, 0.95)
    print("PPV against the base rate (sensitivity = specificity = 95 %):")
    print("  " + "   ".join(f"{p:.1%}: {ppv(p, 0.95, 0.95):.1%}"
                            for p in (0.001, 0.01, 0.05, 0.10, 0.30, 0.50)))
    first = ppv(0.01, 0.95, 0.95)
    second = ppv(first, 0.95, 0.95)
    print(f"second independent positive test, prior {first:.1%} -> {second:.1%}")
    print("the common wrong answer 95 % is P(+ | condition), not P(condition | +)")
# formula: P(condition | +) = 0.95 x 0.01 / (0.95 x 0.01 + 0.05 x 0.99) = 0.1610
# 1,000 people
#      10 with the condition ->  9.5 positive, 0.5 neg
#     990 without it         -> 49.5 positive, 940.5 neg
#   positives: 9.5 + 49.5 = 59; true among them 9.5/59 = 16.1%
# 10,000 people
#     100 with the condition ->   95 positive, 5 neg
#    9900 without it         ->  495 positive, 9405 neg
#   positives: 95 + 495 = 590; true among them 95/590 = 16.1%
# PPV against the base rate (sensitivity = specificity = 95 %):
#   0.1%: 1.9%   1.0%: 16.1%   5.0%: 50.0%   10.0%: 67.9%   30.0%: 89.1%   50.0%: 95.0%
# second independent positive test, prior 16.1% -> 78.5%
# the common wrong answer 95 % is P(+ | condition), not P(condition | +)

在 1,000 人中，约 10 人患病，其中 9.5 人（期望值）检测阳性；990 名健康人中有 49.5 人假阳性。阳性一共约 59 人，真正患病的只有 9.5 人，约 16.1%。用 10,000 人可以避免半个人：590 个阳性中 95 个是真的。同一个检测，在患病率为千分之一的人群中阳性预测值只有 1.9%，在患病率为 10% 的人群中为 67.9%，在患病率为 50% 时才等于 95%。也就是说，「95% 准确」的检测结果意味着什么，取决于被检测的是谁。

如果第一次阳性之后再做一次独立的检测，又是阳性，后验概率从 16.1% 升到 78.5%：第一次检测的结果成了第二次的先验。但真实的重复检测往往并不独立（例如同一种干扰因素会让两次都出现假阳性），这时第二次阳性提供的信息要少得多。

注

这不是医学建议。 上面的数字是为了说明计算而设定的。真实检测的灵敏度、特异度与适用人群各不相同，筛查与诊断检测的含义也不同。拿到任何检测结果，都应当与医生讨论它对你意味着什么。

自然频率

证据

格式的作用。 吉仁泽与霍夫拉格让 60 名大学生解 15 个贝叶斯推理问题。当信息以标准的概率格式呈现（「患病率为 1%，患病者检测阳性的概率为 80%……」）时，16% 的解答符合贝叶斯推理；当同样的信息以自然频率呈现（「1,000 人中有 10 人患病，这 10 人中有 8 人检测阳性……」）时，这一比例升到 46% (Gigerenzer and Hoffrage 1995)。他们认为，自然频率已经替人做了一部分贝叶斯计算：基础率包含在样本的结构之中，不需要再相乘。

证据

元分析。 麦克道尔与雅各布斯汇总了比较自然频率与条件概率格式的研究，发现自然频率稳定地提高了贝叶斯推理的正确率：平均而言，正确率从概率格式下的约 4% 升到自然频率下的约 24%，比值比约为 7.1 (McDowell and Jacobs 2017)。但效应的大小在研究之间差异很大；当两种格式都配有图示，或者问题本身的表述已经简化时，自然频率的优势较小。值得注意的是，即使在自然频率格式下，平均也只有约四分之一的人得出正确答案。

证据

能不能教会？ 塞德尔迈尔与吉仁泽比较了两种不到两小时的训练：一种教人把概率代入贝叶斯公式，一种教人把信息画成频率树。两种训练在迁移到新问题上效果相当，但频率表征训练的即时效果更大，而且随时间推移保持得更好 (Sedlmeier and Gigerenzer 2001)。

这些研究给第八章的试验提供了两点依据。第一，自然频率转换是一种可以在很短时间内教会的技能。第二，即使学会了，大多数人在新问题上仍会出错，所以训练的效果需要在不同于练习题的新题目上检验。

本章小结

人们判断个案时常常依据代表性，给基础率的权重远低于应得的权重；当基础率显得与个案相关时，使用得会多一些。患病率 1%、灵敏度与特异度 95% 的检测，阳性预测值约为 16.1%；医生在 1978 年与 2014 年都有四成以上回答 95%。自然频率格式使贝叶斯推理的正确率明显提高（元分析中约从 4% 到 24%），但大多数人仍然答错；频率树训练的效果可以保持一段时间。下一章讨论另一类与基础率密切相关的问题：在信号很少的环境中，判断的门槛应当放在哪里。

参考文献

Bar-Hillel, Maya. 1980. “The Base-Rate Fallacy in Probability Judgments.” Acta Psychologica 44 (3): 211–33. https://doi.org/10.1016/0001-6918(80)90046-3.
Casscells, Ward, Arno Schoenberger, and Thomas B. Graboys. 1978. “Interpretation by Physicians of Clinical Laboratory Results.” New England Journal of Medicine 299 (18): 999–1001. https://doi.org/10.1056/NEJM197811022991808.
Gigerenzer, Gerd, and Ulrich Hoffrage. 1995. “How to Improve Bayesian Reasoning Without Instruction: Frequency Formats.” Psychological Review 102 (4): 684–704. https://doi.org/10.1037/0033-295X.102.4.684.
Kahneman, Daniel, and Amos Tversky. 1973. “On the Psychology of Prediction.” Psychological Review 80 (4): 237–51. https://doi.org/10.1037/h0034747.
Manrai, Arjun K., Gaurav Bhatia, Judith Strymish, Isaac S. Kohane, and Sachin H. Jain. 2014. “Medicine’s Uncomfortable Relationship with Math: Calculating Positive Predictive Value.” JAMA Internal Medicine 174 (6): 991–93.
McDowell, Michelle, and Perke Jacobs. 2017. “Meta-Analysis of the Effect of Natural Frequencies on Bayesian Reasoning.” Psychological Bulletin 143 (12): 1273–1312. https://doi.org/10.1037/bul0000126.
Sedlmeier, Peter, and Gerd Gigerenzer. 2001. “Teaching Bayesian Reasoning in Less Than Two Hours.” Journal of Experimental Psychology: General 130 (3): 380–400. https://doi.org/10.1037/0096-3445.130.3.380.
Tversky, Amos, and Daniel Kahneman. 1974. “Judgment Under Uncertainty: Heuristics and Biases.” Science 185 (4157): 1124–31. https://doi.org/10.1126/science.185.4157.1124.

Fan, Y. (2026). Probabilistic Judgement, Brier-Score Calibration and the Statistics of Collective Intelligence: From Base-Rate Neglect and Signal Detection Theory to Superforecasting, Read Beside Classical Chinese Strategic Calculation [概率判断、布莱尔分数校准与群体智慧的统计理论] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23764998 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).