5D Library › 概率判断、布莱尔分数校准与群体智慧的统计理论 · English
第一章 泰洛克的预测研究：专家、狐狸与超级预测者
怎样给判断记账
电视上的评论员、报纸上的专栏作者、会议室里的顾问，每天都在预测：某国会不会发生政权更替，某项改革能不能通过，经济明年会不会衰退。这些预测很少被系统地记录，更少被事后核对。即使核对，也常常无从下手：「有可能爆发危机」在危机发生时算说对了，在危机没有发生时也不算说错。
心理学家菲利普·泰洛克从 1980 年代中期开始做一件当时很少有人做的事：请专家对可以明确判定的问题给出数字概率，把答案封存起来，等若干年后结果揭晓，再统一打分 (Tetlock 2005)。问题的格式大多是三选一：某个指标（例如一国的经济增长、某个政党的支持率、一场冲突的强度）在规定时间内是「维持现状」「更多」还是「更少」，专家对三种结局分别给出概率。
证据
研究规模。 参加者是 284 名以评论或建议政治与经济趋势为职业的专家，包括学者、政府与国际机构人员和记者；研究持续约二十年，到 2003 年结束 (Tetlock 2005)。预测的个数有两种说法：泰洛克与加德纳 2011 年的通俗文章说「约 28,000 次预测」，加州大学伯克利分校的新闻稿说约 27,000 次；书评转述原书的数字则是到 2003 年共积累 82,361 次「预测」。两组数字相差约三倍（82,361 ÷ 3 ≈ 27,454），而大多数问题要对三种结局分别估计概率，所以作者推测，82,361 计的是逐个结局的概率估计，28,000 计的是问题层面的预测；这一解释是作者的推测，不是书评或原书摘要的说法。
「黑猩猩」与统计外推
证据
主要发现。 第一，专家的平均成绩只是略好于随机猜测。这里的随机猜测，就是泰洛克那句后来流传甚广的玩笑中的「掷飞镖的黑猩猩」：对三种结局一律各给三分之一。第二，专家平均不如简单的统计外推（例如「明年和今年一样」或「按过去的趋势延续」），更明显不如利用了更多信息的统计模型。第三，专家与见多识广的「业余者」（关心时事但不以该领域为专业的人）相差无几，二者都明显好于本科生；专业知识的边际回报下降得很快。第四，最稳定的差别不在于学历、意识形态或能否接触机密，而在于思维风格：借用以赛亚·伯林的比喻，「狐狸」知道许多小事，愿意综合多种工具、对自己不那么确定；「刺猬」只知道一件大事，用一个理论解释一切。狐狸型的成绩明显好于刺猬型，而差距在刺猬自己专业领域的长期预测上最大 (Tetlock 2005)。
所以，「专家不如黑猩猩」并不是原书的结论。更准确的说法是：平均而言，专家只比黑猩猩好一点点，离统计模型却很远；一部分专家（尤其是自信的刺猬型）在某些问题上确实被黑猩猩打败。泰洛克与加德纳在后来的书中也指出，这句玩笑常被误读为「专家毫无用处」，而真正值得注意的是狐狸与刺猬的差别 (Tetlock and Gardner 2015)。
为什么有知识的人会输给「一律三分之一」？一个简单的机制是过度自信：信息被放大成了过于确定的数字。
推导
仿照三选一的格式做一个玩具模型。每个问题的真实结局概率由一些「真实驱动因素」决定；预测者看到这些因素，但带有噪声。「狐狸」把带噪声的观察打个对折（这是给定观察时驱动因素的贝叶斯后验均值，所以狐狸近似于贝叶斯预测者）；「过度自信者」看到同样的信息，却把观察乘以 1.5，即狐狸所用权重的三倍；「刺猬」在放大之外，还偏向预测「变化」。评分用布莱尔原始的多类别形式：三种结局上（预测概率 − 实际结果）² 之和，0 最好，2 最差。
推导
# Toy three-outcome questions (status quo / more / less), scored with Brier's original
# multi-category score (0 best, 2 worst). Truth: logits = base + s, s ~ N(0, 1).
# Forecasters see s + N(0, 1) noise: fox shrinks it by 0.5 (Bayes), overconfident x1.5,
# hedgehog x1.5 and leans towards change. Illustrative parameters.
import math, random
rng = random.Random(2005)
BASE = (1.0, 0.0, 0.0) # status quo is the most common outcome
def softmax(z):
m = max(z)
e = [math.exp(v - m) for v in z]
t = sum(e)
return [v / t for v in e]
def brier(f, k):
return sum((f[j] - (1.0 if j == k else 0.0)) ** 2 for j in range(3))
def run(nq=20000):
names = ("chimp", "base rate", "fox", "overconfident", "hedgehog")
tot = dict.fromkeys(names, 0.0)
freq = [0, 0, 0]
rows = []
for _ in range(nq):
s = [rng.gauss(0, 1) for _ in range(3)]
p = softmax([b + v for b, v in zip(BASE, s)])
k = rng.choices(range(3), weights=p)[0]
freq[k] += 1
obs = [v + rng.gauss(0, 1) for v in s]
rows.append((obs, k))
base = [c / nq for c in freq]
for obs, k in rows:
fc = {"chimp": [1 / 3] * 3,
"base rate": base,
"fox": softmax([b + 0.5 * v for b, v in zip(BASE, obs)]),
"overconfident": softmax([b + 1.5 * v for b, v in zip(BASE, obs)]),
"hedgehog": softmax([b - (0.8 if j == 0 else 0) + 1.5 * v
for j, (b, v) in enumerate(zip(BASE, obs))])}
for n in names:
tot[n] += brier(fc[n], k)
return base, {n: tot[n] / nq for n in names}
if __name__ == "__main__":
base, score = run()
print("outcome frequencies (status quo, more, less): "
+ ", ".join(f"{b:.3f}" for b in base))
print("forecaster | mean Brier score (3 outcomes, 0 best, 2 worst)")
for n, v in score.items():
print(f"{n:13s} | {v:.3f}")
print(f"chimp's expected score is exactly 1/3 - 2/3 + 1 = {1 / 3 - 2 / 3 + 1:.3f}"
" whatever happens")
# outcome frequencies (status quo, more, less): 0.522, 0.238, 0.239
# forecaster | mean Brier score (3 outcomes, 0 best, 2 worst)
# chimp | 0.667
# base rate | 0.613
# fox | 0.551
# overconfident | 0.665
# hedgehog | 0.710
# chimp's expected score is exactly 1/3 - 2/3 + 1 = 0.667 whatever happens结果显示了几件事。黑猩猩的期望分数恰好是 2/3 ≈ 0.667，与发生了什么无关：这是任何「什么也不知道」的预测者都能拿到的分数。只报这类问题的长期频率（维持现状约 52%），分数就降到 0.613。狐狸用同样的信息拿到 0.551。过度自信者拥有和狐狸完全相同的信息，分数却是 0.665，与黑猩猩几乎一样；刺猬再加上偏向变化，得到 0.710，比黑猩猩还差。在这个模型里，输给黑猩猩的原因不是无知，而是把有用的信息说得太满。参数是示意性的，模型不是对泰洛克数据的重现。
信念更新：狐狸改得多，刺猬改得少
泰洛克还考察了专家在结果揭晓后怎样修正自己的信念。按原书的一项分析，预测出错时，刺猬型修正的幅度大约只有贝叶斯定理要求的五分之一（约 19%），狐狸型约为六成（约 59%）(Tetlock 2005)。改得太少，意味着证据白白浪费；但改得太多同样有害。
推导
一个问题从参考类别的先验 30% 出发，随后陆续到来 8 条消息，每条消息支持或反对的似然比都是 2。贝叶斯预测者每次把对数几率加上 或减去 ；其他预测者只加上它的 倍（ 为反应不足， 为反应过度）。用二元布莱尔分数 比较收到 0、2、4、8 条消息后的成绩。
推导
# Updating in log-odds: prior 30 %, 8 news items, each with likelihood ratio 2 (or 1/2).
# A forecaster adds w x log LR per item (w = 1 Bayesian, < 1 under-, > 1 over-reaction).
# Binary Brier score after 0, 2, 4, 8 items. Toy model, not Tetlock's analysis.
import math, random
rng = random.Random(42)
PRIOR, LR, N_NEWS = 0.30, 2.0, 8
P_GOOD = LR / (1 + LR) # a piece of news points the right way with probability 2/3
def logit(p):
return math.log(p / (1 - p))
def inv(x):
return 1 / (1 + math.exp(-x))
def simulate(weights, nq=40000, checkpoints=(0, 2, 4, 8)):
score = {w: {c: 0.0 for c in checkpoints} for w in weights}
for _ in range(nq):
y = 1 if rng.random() < PRIOR else 0
news = []
for _ in range(N_NEWS):
right = rng.random() < P_GOOD
news.append(1 if (right == (y == 1)) else -1) # +1 favours yes
for w in weights:
z = logit(PRIOR)
if 0 in checkpoints:
score[w][0] += (inv(z) - y) ** 2
for t, e in enumerate(news, 1):
z += w * e * math.log(LR)
if t in checkpoints:
score[w][t] += (inv(z) - y) ** 2
return {w: {c: v / nq for c, v in d.items()} for w, d in score.items()}
if __name__ == "__main__":
ws = (0.0, 0.2, 0.6, 1.0, 2.0)
res = simulate(ws)
label = {0.0: "never updates", 0.2: "under-reacts", 0.6: "partly",
1.0: "Bayesian", 2.0: "over-reacts"}
print("weight w on each news item | Brier after 0, 2, 4, 8 items of news")
for w in ws:
r = res[w]
tag = "(" + label[w] + ")"
print(f" w = {w:3.1f} {tag:17s} | "
+ " ".join(f"{r[c]:.3f}" for c in (0, 2, 4, 8)))
z = logit(PRIOR) + 3 * math.log(LR) - 1 * math.log(LR)
print(f"example: prior 30 %, three items for and one against -> {inv(z):.1%}")
# weight w on each news item | Brier after 0, 2, 4, 8 items of news
# w = 0.0 (never updates) | 0.210 0.210 0.210 0.210
# w = 0.2 (under-reacts) | 0.210 0.195 0.181 0.156
# w = 0.6 (partly) | 0.210 0.177 0.150 0.110
# w = 1.0 (Bayesian) | 0.210 0.172 0.143 0.102
# w = 2.0 (over-reacts) | 0.210 0.185 0.156 0.112
# example: prior 30 %, three items for and one against -> 63.2%收到消息之前，所有人的分数都是 0.210，即 ：只报基础率的分数。8 条消息之后，贝叶斯预测者降到 0.102；只用两成证据的反应不足者停在 0.156，用六成证据的约为 0.110；把每条消息放大一倍的反应过度者是 0.112，同样不如贝叶斯。两种方向的错误都要付出代价，这正是后来「超级预测者」研究反复强调的：小步、频繁地更新。最后一行给出一个具体的算例：先验 30%，三条支持、一条反对，后验约为 63.2%。
预测锦标赛与超级预测者
2011 年，美国情报高级研究计划局（IARPA）资助了一项为期数年的地缘政治预测锦标赛，几个大学团队用不同的方法招募预测者、收集并汇总预测，按布莱尔分数排名。泰洛克与梅勒斯领导的「良好判断计划」（Good Judgment Project）连续获胜。
证据
训练、组队与追踪。 前两年的报告中，第一年开始时有 2,246 名参与者，第二年 1,648 名，共涉及 199 个地缘政治问题 (Mellers et al. 2014)。研究团队随机分配了三种心理学干预：约 45 分钟的概率训练（使用参考类别、对多个估计取平均、避免过度自信、确认偏差与基础率忽略等），组队（在线讨论与分享信息），以及追踪（把第一年成绩最好的 2% 放进精英团队）。三者都提高了准确性，校准与区分度都有改善；该文还指出，统计聚合算法带来进一步的提高，算法本身另文报告（例如按成绩加权、近期预测加权，并把汇总概率「推向极端」，见第六章）(Mellers et al. 2014; Baron et al. 2014)。对四年锦标赛的分析发现，不到一小时的训练使布莱尔分数比对照组改善 6% 到 11% (Chang et al. 2016)。
证据
超级预测者。 每年成绩最好的约 2% 被称为「超级预测者」，编入精英团队后，他们在之后两年里没有出现通常预期的「回归平均」，在数百个问题与多种主题上保持了很高的准确性。梅勒斯等人把这归因于相互强化的四类因素：认知能力与风格、与任务有关的技能、动机与投入，以及更丰富的环境（团队与训练）；他们的结论是，超级预测者部分是被发现的，部分是被培养的 (Mellers et al. 2015)。泰洛克与加德纳的通俗著作描述了这些人的习惯：先找外部参考类别，再看个案细节；把问题拆成可以估计的小问题；用精细的数字（例如 63% 而不是「六七成」）；以及频繁地小幅更新 (Tetlock and Gardner 2015)。
这些发现与第一部分并不矛盾。泰洛克早期研究中的专家大多没有任何反馈：他们的预测被封存，多年后才揭晓，而且结果不会回到他们手里。锦标赛中的预测者则在每个问题结束后立刻看到自己的布莱尔分数。
证据
专家并非总是糟糕。 有反馈、问题定义清楚的领域，专业判断可以校准得很好。美国气象预报员的降水概率预报在 1970 年代已被证明相当可靠：说「70% 可能下雨」的日子，大约七成真的下雨 (Murphy and Winkler 1977)。曼德尔与巴恩斯分析了加拿大一个情报评估机构 2005 年至 2011 年间的 1,514 项战略情报预测，发现其区分度与校准都很好，主要的偏差反而是信心不足：分析员给出的不确定性多于他们的区分能力所要求的 (Mandel and Barnes 2014)。
本章小结
泰洛克让 284 名专家在约二十年里给出数万次数字概率预测，发现专家平均只是略好于「一律三分之一」，不如简单外推与统计模型，狐狸型好于刺猬型，刺猬在自己领域的长期预测上尤其差；「不如黑猩猩」是通俗说法。玩具模型显示，拥有同样信息的预测者，只因过度自信就可能退到随机猜测的水平。预测锦标赛表明，简短的概率训练、组队与追踪可以提高准确性，超级预测者部分被发现、部分被培养；有反馈的气象与情报评估也可以校准得很好。下一章讨论怎样打分：布莱尔分数、墨菲分解与恰当评分规则。
参考文献
Fan, Y. (2026). Probabilistic Judgement, Brier-Score Calibration and the Statistics of Collective Intelligence: From Base-Rate Neglect and Signal Detection Theory to Superforecasting, Read Beside Classical Chinese Strategic Calculation [概率判断、布莱尔分数校准与群体智慧的统计理论] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23764998 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).