《零泄题苏格拉底闯关考官、服务端答案物理隔离与掌握度贝叶斯追问树母典》各章定量结论
在线学堂用语言模型做闯关考官时,常把标准答案写进提示词,再叮嘱模型不许说出。本书检验相反的立项命题:答案在上下文里,套话的累计泄露概率 1-(1-p)^k 随尝试次数趋近 1,叮嘱只能改变速度;只有答案不进入上下文,内容泄露才为零;掌握度改用 Corbett 与 Anderson 1995 年刊于《用户建模与用户自适应交互》的贝叶斯知识追踪记账。核对原文后命题被修正:攻击者各不相同时曲线变慢、会学习时变快;判分本身是每次至多一比特的预言机,模型还可能自己把题解出来,学员也会分享自己答对的题。书中参数为示意;全部计算由书中程序生成,不调用任何模型接口,不含任何密钥或服务器地址,也不收录具体的套话提示词;本书是非个人化经营建议。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-262 · English version
- 第 1 章 · 叮嘱无效:上下文里的答案与累计泄露概率
第一、二章量化叮嘱为何无效,在每题 3 次尝试、40 道题的示意课程里,p 等于 0.001 时一个 30 人的小班至少漏掉一道题的概率是 0.9727;再画出四种考官架构的信息流图,计算判分预言机的比特上限与尝试上限的代价。 - 第 2 章 · 物理隔离:服务端判分、信息流图与判分预言机的一比特
程序 p21 把四种架构画成信息流图,只有服务器端判分、模型只拿比特的架构 C 把每一条到达浏览器的路径都卡在一个比特上,而一个读取答案的提示生成器就能把它退回到 D。程序 p22 说明判分本身是一台预言机,每次最多透露一个比特,对四选一这样的小空间题几乎没有保护。程序 p23 说明尝试上限与平行题能压住预言机,但小空间题无法同时照顾防猜与防误伤。内容通道关上之后,考官还剩下一个问题:手里只有一串「对」和「错」,它凭什么判断学员已经掌… - 第 3 章 · 贝叶斯知识追踪:四个参数、掌握线与可识别性
第三、四章讲知识追踪的四参数更新、掌握线与可识别性,并说明五分之一的学员拿到答案时,假证书占全部证书的 0.2534,而事后拟合把它解释成生源更好。 - 第 4 章 · 泄题如何伪造掌握:猜对率、假证书与拟合的盲区
程序 p41 说明,泄题让拿到答案的人以百分之百的概率通过考官,百分之二十的泄题率就足以让四张证书里有一张是假的。程序 p42 说明,事后拟合看不出泄题:它把泄题解释成生源更好、失手更少,曲线依旧吻合。检测因此要靠平行变体、延迟迁移题与固定猜对率这些出题时就设计好的结构,而它们都只是预防之后的补救。考官的本职,是在不泄题的前提下尽快、尽准地判断掌握,那么在一串对错比特之间,下一道题该问什么才最有价值?下一章搭建追问树。 - 第 5 章 · 追问树:信息增益选题、贪心树与停问规则
第五章用信息增益搭追问树,收益主要来自停问规则:平均 7.71 题对固定顺序的 9.59 题,判对率反而更高。 - 第 6 章 · 防套话的纵深架构:分层失效的相关性、只存摘要的输出检查与题库暴露
程序 p61 说明,纵深防御的各层只有在独立失效时才能连乘,而现有研究揭示的失效机制恰恰会让它们一起失效;只有隔离把极限从 1 变成 0。程序 p62 演示了只存摘要的输出检查:它在隔离架构里负责防倒退和防模型自己算出答案,能拦书写变体,拦不住改写。程序 p63 估算了隔离之后唯一关不上的通道,即学员对自己答对题目的分享,并说明变体与题库更新的作用。账算完了,接下来要回答一个更古老的问题:苏格拉底和孔子在没有服务器的年代,是怎样处理「… - 第 7 章 · 原典考辨:《论语·述而》的「不愤不启」与柏拉图《美诺篇》的童奴几何问答
程序 p71 把「不愤不启」「举一隅不以三隅反」写成可算的规则:先尝试后点拨保住了证据,三道迁移题全对的后验 0.9891,而重复展示过的例题毫无证据价值。程序 p72 复算了《美诺篇》的倍积正方形,并说明引导性问句作为掌握证据几乎没有分量,苏格拉底「只问不教」的说法在信息意义上站不住。两位老师给出的方向,与本书的架构一致:答案留在学生之外,证据只来自学生自己的作答。最后一章要回答的是:主事者明天就能执行的红队测试流程是什么,样本量要… - 第 8 章 · 实证闭环:学堂考官泄题红队测试、掌握度追问树与预注册检验
第八章给出主事者视角的八步红队闭环、蒸馏小工具「掌握度追问树」与预注册检验;要为答案在上下文的构建担保一学期安全,需要 1437950 次干净的红队尝试。书中以标注框区分已发表的证据、可运行的 Python 计算(21 段程序)、原典与作者的假说。
模型示意算例,非实时报价