5D Library › 算法之镜 · English

第六章 半人马智能

从自由式国际象棋说起

1997 年输给 IBM 的「深蓝」之后,加里·卡斯帕罗夫(Garry Kasparov)开始推广「高级国际象棋」,即每位棋手都与一台计算机合作。2005 年,对任何人机组合开放的 PAL/CSS 网上自由式锦标赛,冠军不是带着超级计算机的特级大师,而是两位来自美国新罕布什尔州的业余棋手史蒂文·克拉姆顿(Steven Cramton)和扎卡里·斯蒂芬(Zackary Stephen),等级分约 1700 和 1400,用的是三台普通电脑和几款引擎 (ChessBase 2005)。卡斯帕罗夫后来总结说,一个较弱的人加上机器和更好的流程,可以胜过单独的强大计算机,也可以胜过一个强大的人加上机器和较差的流程 (Kasparov 2010)。半人半马的半人马形象,由此进入了人机协作的词汇。

注

此后国际象棋引擎变得强大得多,在顶尖水平上人类搭档能增加的优势已经缩小。自由式锦标赛的故事是「好流程」的生动例子,而不是人机团队普遍取胜的证据。

证据显示了什么

证据

在一项有波士顿咨询公司 758 名顾问参加的现场实验中,德拉夸(Dell’Acqua)等人发现:对于处在 GPT-4 擅长范围以内的任务,使用它的顾问多完成了 12.2% 的任务,速度快 25.1%,质量高出 40% 以上;但在一项被特意选在这一范围之外的任务上,使用它的顾问得出正确答案的可能性,比不使用的顾问低 19 个百分点。他们把 AI 能力的边界称为锯齿状前沿,并观察到两种成功的使用方式:把任务在自己与 AI 之间分工的「半人马」,以及与 AI 紧密交织工作的「赛博格」(Dell’Acqua et al. 2023)。

证据

瓦卡罗(Vaccaro)、阿尔马图克(Almaatouq)和马隆(Malone)对 106 项实验(370 个效应量)的元分析发现:平均而言,人机组合的表现差于人或 AI 单独时两者中较好的一方(Hedges’ g=−0.23g = -0.23),尽管好于人单独(g=0.64g = 0.64)。组合在决策类任务上损失最大(g=−0.27g = -0.27),在开放式的创作类任务上相对较好(g=0.19g = 0.19,与零无显著差别)。当人单独胜过 AI 单独时,组合胜过两者(g=0.46g = 0.46);当 AI 单独胜过人时,组合不如 AI 单独(g=−0.54g = -0.54)(Vaccaro et al. 2024)。

所以,「人机团队系统性地击败纯人类专家和纯 AI」这一说法,作为普遍规律并没有得到支持。团队只在特定条件下取胜,而证据指出了这些条件是什么。

团队什么时候能赢?

推导

锯齿状前沿的缩影:在 60% 的任务上 AI 有 90% 的时候正确,其余任务上为 40%;人在所有任务上都有 70% 的时候正确,所以单独时两者相当。在团队中,由人决定何时信任 AI,并以一定的准确度识别出任务属于哪一类。

import random

# A "jagged frontier": on 60 % of tasks the AI is right 90 % of the time; on the rest, 40 %.
# The human alone is right 70 % of the time everywhere. In the team, the human decides
# whether to accept the AI's answer or use their own, and recognises which kind of task
# it is with some accuracy ("discernment").
random.seed(5)
def team(discernment, n=100000):
    right = 0
    for _ in range(n):
        inside = random.random() < 0.6
        ai_ok = random.random() < (0.9 if inside else 0.4)
        human_ok = random.random() < 0.7
        thinks_inside = inside if random.random() < discernment else not inside
        right += ai_ok if thinks_inside else human_ok
    return right / n

ai_alone = 0.6 * 0.9 + 0.4 * 0.4
print(f"AI alone {ai_alone:.2f}, human alone 0.70")
for d in (0.5, 0.7, 0.85, 1.0):
    print(f"discernment {d:4.2f}: team accuracy {team(d):.3f}")
# AI alone 0.70, human alone 0.70
# discernment 0.50: team accuracy 0.697
# discernment 0.70: team accuracy 0.746
# discernment 0.85: team accuracy 0.784
# discernment 1.00: team accuracy 0.820
团队准确率与人的辨别力的关系。如果完全无法判断 AI 在哪里可靠(0.5,相当于掷硬币),团队并不比任何一方单独更好;辨别力完美时,团队有 82% 的时候正确。

团队的收益,完全来自人知道 AI 在哪里可靠、在哪里不可靠。这是第三章必要多样性的一种形式:人必须能区分不同的情况。

架构师–验证者分工

证据提示了一种契合团队取胜条件的分工。人定义问题和答案的标准,把模型在没有提示时不会联系起来的领域联系起来,判断哪些输出可以对照现实世界核查,并亲自核查或安排核查;机器起草、形式化、计算、检索,并写出可以运行的代码。本书就是这样写成的。对某项具体任务,这种分工是否胜过其他方式,是一个经验问题;下一章的原典和最后一章的试验,都是本着这种精神提出的。

假说 · 尚未验证

尚未确立。 在研究规划类任务中,人在接受每一项输出之前明确评估它是否处于模型可靠范围之内的人机团队,胜过模型单独和人单独;没有这一步骤的团队则不能。该假说预测:在一项三组随机实验中,只有「明确评估」组的团队相对于「两者中较好者」有正向差异。如果「明确评估」组的团队没有胜过人单独与模型单独中较好的一方,假说就被推翻。

参考文献

ChessBase. 2005. Dark Horse ZackS Wins Freestyle Chess Tournament. ChessBase News.
Dell’Acqua, Fabrizio, Edward McFowland, Ethan R. Mollick, et al. 2023. Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. Working Paper Nos. 24-013. Harvard Business School.
Kasparov, Garry. 2010. “The Chess Master and the Computer.” The New York Review of Books 57 (2).
Vaccaro, Michelle, Abdullah Almaatouq, and Thomas Malone. 2024. “When Combinations of Humans and AI Are Useful: A Systematic Review and Meta-Analysis.” Nature Human Behaviour 8 (12): 2293–303.

Fan, Y. (2026). The Algorithmic Mirror: Self-Attention Geometry, Ashby's Requisite Variety and Cognitive Projection in Information Theory and East Asian Philosophy of Mind [算法之镜] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23723557 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).