《概率判断、布莱尔分数校准与群体智慧的统计理论》各章定量结论
「大概会成」到底是多大的可能?说这句话的人这些年说对了多少?本书用判断与决策心理学、预测评估与统计学考察怎样测量概率判断的准确性,判断会以哪些系统性的方式出错,以及把许多人的判断合在一起何时更准。依次讨论:泰洛克对 284 名专家约二十年预测的研究(约 28,000 次预测,另有书评引用的 82,361 次计数;专家平均略好于随机猜测、不如简单外推,狐狸型好于刺猬型,「不如掷飞镖的黑猩猩」是通俗说法),预测锦标赛中的训练、组队与超级预测者,以及过度自信与反应不足、反应过度的模型;布莱尔分数与墨菲分解(可靠性 − 区分度 + 不确定性,分箱时多出组内两项),「总是报基础率者校准完美而区分度为零」(「总是报 50%」只在基础率为 50% 时校准),以及严格恰当评分规则的推导;基础率忽略、患病率 1% 时阳性预测值约 16.1% 与自然频率(元分析中正确率约从 4% 到 24%);信号检测论的 d′、判断标准与代价不对称下的最优似然比门槛;计划谬误、参考类别预测(258 个交通项目近九成超支,铁路平均 44.7%)与经验贝叶斯收缩;高尔顿称牛重的中位数与平均数之更正、多样性预测定理(恒等式而非经验规律)、相关误差使群体无法胜过专家的条件,以及平均概率为何需要推向极端。
DOI 10.5281/zenodo.23764998 · 阅读本章所在专著 · English version
- 第 1 章 · 泰洛克的预测研究:专家、狐狸与超级预测者
泰洛克让 284 名专家在约二十年里给出数万次数字概率预测,发现专家平均只是略好于「一律三分之一」,不如简单外推与统计模型,狐狸型好于刺猬型,刺猬在自己领域的长期预测上尤其差;「不如黑猩猩」是通俗说法。玩具模型显示,拥有同样信息的预测者,只因过度自信就可能退到随机猜测的水平。预测锦标赛表明,简短的概率训练、组队与追踪可以提高准确性,超级预测者部分被发现、部分被培养;有反馈的气象与情报评估也可以校准得很好。下一章讨论怎样打分:布莱尔分数… - 第 2 章 · 严格恰当评分规则:布莱尔分数与墨菲分解
布莱尔分数是预报与结果之差的平方的平均,墨菲把它分解为可靠性(校准)、区分度与不确定性三项;当组内预报相同时分解是精确的,分箱后则多出组内方差与协方差两项。总是报 50% 的人只在基础率为 50% 时校准完美;一般而言,总是报基础率的人校准完美而区分度为零。过度自信者可以拥有和校准者同样的区分度,却因为说得太满而得分更差。布莱尔分数与对数分数是严格恰当的,绝对误差不是。用很少的预报给个人算校准误差,会系统地偏高。下一章讨论概率判断中最… - 第 3 章 · 基础率忽略与自然频率
人们判断个案时常常依据代表性,给基础率的权重远低于应得的权重;当基础率显得与个案相关时,使用得会多一些。患病率 1%、灵敏度与特异度 95% 的检测,阳性预测值约为 16.1%;医生在 1978 年与 2014 年都有四成以上回答 95%。自然频率格式使贝叶斯推理的正确率明显提高(元分析中约从 4% 到 24%),但大多数人仍然答错;频率树训练的效果可以保持一段时间。下一章讨论另一类与基础率密切相关的问题:在信号很少的环境中,判断的门… - 第 4 章 · 信号检测论:看得清与门槛放在哪里
前三位判断者的辨别力几乎相同($d'$ 约为 2),差别全在门槛:中性者 $c = 0$,$\beta = 1$;宽松者 $c = -0.70$,击中率高达 95%,代价是 40% 的虚报;严格者 $c = +1.00$,几乎从不虚报(2.3%),却漏掉一半的信号。如果只看击中率,宽松者「最厉害」;如果只看虚报率,严格者「最厉害」;其实三人看得一样清楚。第四位判断者击中率 90%,看起来不错,但虚报率高达 69%,$d'$ 只有 0.… - 第 5 章 · 参考类别预测与计划谬误
计划谬误是人们采用内部视角、系统地低估时间与成本的倾向;学生写论文的实际用时比「最坏情况」的估计还长。258 个交通项目中近九成(86%)成本超支,平均幅度铁路 44.7%、桥梁与隧道 33.8%、道路 20.4%,超支的来源既有乐观偏差,也有策略性误报。参考类别预测先找同类项目的结果分布,再定位个案;合成模型显示,上调值取决于愿意承担的风险,并且应当来自真实的经验分布。经验贝叶斯收缩把团队自己的记录按可信程度与参考类别合并,在记录少… - 第 6 章 · 群体智慧的统计理论
高尔顿 1907 年报告的群体中位数为 1,207 磅(应为 1,208 磅),平均数 1,197 磅是随后才给出的,恰好等于更正后的实际重量。多样性预测定理是一个恒等式:群体误差等于个人平均误差减去多样性;它保证群体不比个人平均差,却不保证群体胜过最好的个人。误差相关时,平均只能消除不相关的部分;相关系数一旦超过专家的相对误差,再多的人也胜不过专家。社会影响会降低多样性、提高信心而不提高准确性。对许多人的概率取平均后适度推向极端可以… - 第 8 章 · 实践与预注册试验
四步校准核查表把前几章的结论落到四个可记录的环节:用数字替代模糊词,先找外部参考类别的基础率,事前写下更新触发条件,季度结束后用布莱尔分数复盘并与基础率比较;虚构示例显示,直觉数字可能比只报基础率还差,而按事先约定更新后有所改善,但一个季度的 12 个问题不足以下结论。试验方案比较 15 分钟校准微训练与时长匹配的逻辑思维阅读,唯一的主要结局是 20 道题上 80% 区间的校准误差 $|H - 0.80|$,每组 133 人可分析、招…
模型示意算例,非实时报价