《检索增强生成几何、倒数秩融合与多智能体误差级联》各章定量结论
检索增强生成(RAG)与多智能体流水线可以拆成三个环节:检索、拼接与链条。每个环节都有一条流行的直觉——维度越高、块越多越好;上下文越长越好;智能体越多越好。本书把每条直觉写成可运行的模型,找出它在哪里成立、在哪里失效。全部数据为程序生成的合成数据,数字说明机制与量级,不是对任何产品的测量。
DOI 10.5281/zenodo.24090170 · 阅读本章所在专著 · English version
- 第 1 章 · 高维几何:测度集中、有效维度与枢纽块
第一章用测度集中、有效维度与枢纽现象说明:语料越大,第一名错误率越高(256 维时从 0.0730 升到 0.5030);名义 768 维、方差按幂律衰减时,有效维度只有 31.7,十万块中排错第一名的概率 0.9875;一百维时 1% 的枢纽块闯入 77.7% 的无关问题的前十名。 - 第 2 章 · 词法与稠密检索:各自的盲区与倒数秩融合的平滑常数
第二章说明稠密检索认不出编号、词法检索认不出改写,融合完整排名时两类查询的 recall@1 都只剩 0.055,只融合短列表时编号查询停在 0.475;倒数秩融合的平滑常数 k = 60 在三种情形下都不是 recall@1 的最优值,一强一弱时任何 k 都不如强检索器单用(0.604)。 - 第 3 章 · 上下文窗口:位置衰减、证据稀释与最佳块数
第三章用程式化读者模型说明「中间遗失」与证据稀释:正确块在中间时回答正确的概率只有两端的三分之一左右(0.098 对 0.288),最佳块数随干扰强度从 8 降到 2。 - 第 4 章 · 多智能体流水线:误差级联与验证器门控的吸收马尔可夫链
第四章证实 0.92 的十次方等于 0.4344,三票表决只在错误独立时有效,并把验证器门控写成吸收马尔可夫链:确定、独立的检查把十步链提到 0.9949,只需 10.84 次尝试。 - 第 5 章 · 验证器的独立性与重试的代价
第五章说明验证器的价值在于独立:困难步骤一直困难时,即使确定性检查也只到 0.886,与生成器共享盲区的评判只到 0.6950;可靠性的代价付在尾部延迟上。 - 第 6 章 · 评测本身的统计:样本量、评判偏差与赢家诅咒
第六章说明三个百分点的改进需要约三千条查询才能可靠检出(3,000 条时把握度 0.989),从 256 个同样好的配置中挑最好的会虚高七个多百分点。 - 第 7 章 · 《七略》的分类路由与《韩非子》的参验:检索与核验的两种古法
第七章把《七略》读作分类路由(路由准确率须高于 0.656 才胜过全库检索),把《韩非子》的「参验」读作多源核验(来源同出一源时多少个都只相当于一个)。 - 第 8 章 · 五步核查与一项预注册的离线评测
第八章给出五步核查与一项预注册的离线评测,并如实展示一次「坏运气」得出的错误结论及其错误率(0.045)。
模型示意算例,非实时报价