《孔多塞陪审团定理与相关误差、多模型投票何时越投越准何时同源共错母典》各章定量结论
很多经营者让多个人工智能模型投票,或让同一个模型多答几次再取多数,以为多投几票就稳了。这个做法依据的是孔多塞 1785 年的陪审团定理:每一票判对的概率超过一半且各票独立时,票数越多,多数越可能正确。本书推翻它在多模型投票中的常识版本:模型同源、错误相关时,多数准确率有一个低于 1 的上限。单票准确率 0.70 时,五张独立票的多数准确率是 0.8369;在可交换的贝塔二项模型里,相关系数 0.1 时上限是 0.8996,相关系数 0.3 时只有 0.7731。核对原文之后,本书做了蓝图修正:拉达 1992 年的论文给出的是相关足够弱时定理仍然成立的充分条件,上限低于 1 的结论来自伯格 1993 年与博兰 1989 年的模型;弱相关之下多数仍可越投越准。书中参数为示意;全部计算由书中程序生成;本书是非个人化的经营分析,不构成经营建议。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-309 · English version
- 第 1 章 · 孔多塞的二项多数:独立投票为什么越投越准
A 段的五列分别对应单票准确率 0.45、0.55、0.60、0.70 与 0.80。看 0.70 这一列:一票时是 0.7000,三票时升到 0.7840,五票时 0.8369,十五票时 0.9500,五十一票时 0.9986。只要投票者够多,多数意见几乎不会出错。这就是孔多塞定理的正面:独立的、略好于抛硬币的判断,积少成多,可以变成近乎确定的判断。 - 第 2 章 · 相关误差与上限:贝塔二项模型、意见领袖与同源共错
只要错误有共同来源,多数准确率就有一个低于 1 的上限。这个上限在贝塔二项模型里等于难度低于一半的题所占的比例,在意见领袖模型里取决于跟随概率是否越过 $1-1/(2p)$。弱相关时,越投越准仍然成立,但收益被打了折扣;相关稍强时,上限远低于 1,再多的票也只是在原地踏步,甚至越投越差。下一章讨论一个实际问题:店主手里的模型池,相关系数到底是多少,怎样从数据里量出来。 - 第 3 章 · 怎样量出相关:两两相关、Q 统计量、等效票数与错答撞车
相关可以量,而且应该量。phi 系数与矩估计直接对应模型里的 $\rho$,Q 统计量更敏感但刻度不同,同时判错的比例最直观。量出 $\rho$ 之后,等效票数的上界 $1/\rho$ 告诉店主还有多少独立信息可买;多选题还要再量一笔撞车率。下一章转向行动:既然相关来自共同原因,有哪些办法能把它拆掉,各能拆掉多少。 - 第 4 章 · 去相关策略比较:重采样、异提示、异模型与标准库验算
第四章比较去相关策略:同一模型重采样的上限只有 0.7366,五家不同模型的上限是 0.8257,让标准库验算在能覆盖的题上直接拍板,四个模型加验算可达 0.8887。 - 第 5 章 · 加权多数:对数几率权重与相关簇的重复计票
独立时,按对数几率加权是最优规则;当某一票的权重超过其余所有票之和,它就应当一票定夺,这为第四章的验算拍板提供了理论依据。相关时,对数几率权重会把同一份证据算两遍,此时应先把同族的票合成一票再加权,合与不合的分界大致在族内相关 0.4 到 0.5 之间。下一章回到预算问题:在上限之下,要多少个模型才能达到目标准确率,又要多少道带标准答案的题,才能把准确率与相关系数量准。 - 第 6 章 · 所需模型数与样本量:上限之下的票数账与标注账
相关之下,票数账里出现了大片的 never:目标越高,能容忍的相关越低,越过门槛之后多调用多少次都无济于事。标注账则提醒店主,所有这些判断都建立在估计值上,估计值的精度按题量的平方根改善;三百道题是起点,一千道题是靠近门槛时的复核量。下一章暂时离开经营现场,回到两部原典:《尚书·洪范》里「三人占,则从二人之言」的多数决,以及孔多塞 1785 年的《论文》。 - 第 7 章 · 东西方原典考辨:《尚书·洪范》「三人占,则从二人之言」与孔多塞 1785 年的《论文》
第七章考辨《尚书·洪范》「三人占,则从二人之言」与孔多塞的《论文》,只分析投票结构,不做任何占断:独立时票差为 5 的多数判对概率是 0.9857,相关系数 0.1、一百零一票时只有 0.5819;三人中二人一致时,相关系数 0.3 下多数判对的概率是 0.6077。 - 第 8 章 · 多模型裁决去相关的实证闭环:流程、相关投票准确率计算器与预注册证伪方案
第八章给出多模型裁决去相关的实证闭环、蒸馏小工具「相关投票准确率计算器」与预注册证伪方案。书中以标注框区分已发表的证据、可运行的 Python 计算(19 段程序)、原典与作者的假说。
模型示意算例,非实时报价