5D Library › 检索增强生成几何、倒数秩融合与多智能体误差级联 · English

序:检索、拼接与链条

注

请先读这一段。 本书研究检索增强生成(RAG)与多智能体流水线的数学:高维向量检索的几何、词法与稠密检索的融合、上下文中证据的稀释,以及多步任务的误差传播与验证。书中所有语料、查询、检索结果与智能体运行都是程序生成的合成数据;书中的数字说明机制与量级,不是对任何具体模型或产品的测量,也不构成对任何供应商的推荐。

一个检索增强或多智能体系统可以拆成三个环节:检索——从知识库里找出与问题相关的块;拼接——把找到的块放进语言模型的上下文;链条——让多个步骤或多个智能体接力完成任务。每个环节都有一条流行的直觉:维度越高、块越多越好;上下文越长越好;智能体越多越好。本书把每条直觉写成可运行的模型,找出它在哪里成立、在哪里失效,以及失效时的代价能否被算出来。

像 5D Library 的其他书一样,本书先证伪再立边界,并如实报告否定结果——包括书中自己的一个演示在第八章「运气不好」地得出了错误的结论。

本书的内容

第一章用测度集中、有效维度与枢纽现象说明高维向量检索的几何代价。第二章并排展示词法与稠密检索的盲区,并检验倒数秩融合的平滑常数 kk。第三章用一个程式化的读者模型计算「中间遗失」与证据稀释,找出上下文块数的最佳值。第四章算清多智能体串联的误差级联,并把验证器门控写成吸收马尔可夫链。第五章放松验证器独立与重试独立两个假设,并计算可靠性的尾部延迟代价。第六章讨论评测本身的统计:样本量、评判偏差与赢家诅咒。第七章把刘向、刘歆的《七略》读作分类路由,把《韩非子》的「参验」读作多源核验。第八章给出五步核查与一项预注册的离线评测。

本书与 5D Library 的几本书相邻,只在重叠处简短回顾:第 11 本讨论过自注意力的几何;第 26 本讨论过概率判断与校准;第 42 本讨论过探索与利用;第 49 本讨论过信息几何;第 58 本讨论过人工智能推理的单位经济学。本书不重复那些内容。

核对后修正的说法

  1. 「维度越高越准」只在各向同性模型中成立。 名义 768 维、方差按幂律衰减时,有效维度只有 31.7,十万块中把第一名排错的概率是 0.9875(p02)。在任何维度下,语料越大,第一名错误率越高:256 维时从 0.0730 升到 0.5030(p01)。
  2. 高维空间自发产生枢纽块。 一百维时,1% 的块闯入 77.7% 的无关问题的前十名(p03)。
  3. 稠密检索认不出编号,词法检索认不出改写;融合不会自动取长补短。 融合完整排名时两类查询的 recall@1 都只剩 0.055;只融合短列表时编号查询停在 0.475(p04)。
  4. k=60k = 60 不是普遍最优。 三种情形下它都不是 recall@1 的最优值;一强一弱时,任何 kk 都不如强检索器单用(p05)。
  5. 上下文块数有最佳值,且取决于语料。 干扰离题时最佳 8 块,干扰似是而非时最佳 2 块(p06)。
  6. 0.9210=0.43440.92^{10} = 0.4344 得到证实,三票表决只在错误独立时有效(p08);确定、独立的检查把十步链提到 0.9949(p09)。
  7. 验证器的价值在于独立,而不只是准确。 困难步骤一直困难时,即使确定性检查也只到 0.886;与生成器共享盲区的评判只到 0.6950(p10)。
  8. 三个百分点的改进需要约三千条查询才能可靠检出(p12);从 256 个同样好的配置中挑最好的,会虚高七个多百分点(p14)。

标注框怎么读

标注框把已发表的证据、可运行的 Python 计算(16 段程序,只用标准库,随机种子固定,每段在构建时实际运行,真实输出印在其下)、原典、注释与作者的假说区分开;每条假说都写明什么结果会证明它错。

利益披露

作者以 5D Library 的著作(包括本书)作为其社群课程、升维牌卡(5D Ascension Cards,Dimensional Shift Card Decks)与 Yafu AI 知识库的方法论基础;Yafu AI 知识库本身使用检索增强技术,因此作者与本书主题有直接的商业利益关系。本书不推销任何课程、牌卡、软件、嵌入模型、向量数据库、语言模型或智能体平台,不提供任何供应商的链接或推荐,也不接受任何赞助。第八章的评测只使用软件与去标识化的查询文本,其代码与方案均公开,供任何人检验。

Fan, Y. (2026). Retrieval-Augmented Generation Geometry, Reciprocal Rank Fusion and Multi-Agent Error Cascades: High-Dimensional Concentration of Measure, Hybrid Lexical-Dense Retrieval Bounds and Verifier-Gated Fixed Points [检索增强生成几何、倒数秩融合与多智能体误差级联] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.24090170 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).