《知识库分块边界网格寻优、重叠率与向量词频混合检索配比母典》各章定量结论
知识库建库时要填三个数:块长、相邻块的重叠率、向量与词频的混合权重。流行说法是「块越小越准」与「混合检索给一个固定配比就行」。立项命题说:召回随块长呈倒 U,重叠率超过一定比例收益递减,最优混合权重依查询类型而变。本书在固定种子的合成语料上用纯标准库程序实现 BM25 与概念层面的词袋余弦,把命题写成可计算的模型,并修正蓝图三处:规格所引罗伯逊与萨拉戈萨 2009 年综述只阐述 BM25,不检验分块,直接证据来自段落检索与检索粒度研究;倒 U 只在固定阅读预算下出现,每次固定取 5 块时召回随块长单调升到 0.809,固定 192 个词元预算时在块长 48 处达到峰值 0.689;重叠的收益不是平滑递减而是到饱和点即止,块长 32、答案跨度 24 时,装下八成答案的概率在不重叠时为 0.531,重叠一半时为 1.000,索引为 2.00 倍。书中参数为示意;全部计算由书中程序生成;程序不读写任何文件,不连接任何线上知识库;本书是非个人化经营建议,任何线上知识库参数的改动须经离线评测并由主事者人工复核放行。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-261 · English version
- 第 1 章 · 倒 U:阅读预算下的块长与召回
事实跨度为 12 时,最优块长是 48,是跨度的 4.00 倍;跨度为 24 时,最优块长仍是 48,是跨度的 2.00 倍;跨度为 48 时,最优块长移到 96,同样是 2.00 倍。跨度为 48 时,块长 8 的召回是 0.000:任何一块都不可能装下八成证据,排得再准也没有用。跨度为 12 时,小块的处境好得多,块长 8 的召回有 0.681,但仍低于块长 48 的 0.869。 - 第 2 章 · 从头写 BM25:逆文档频率、词频饱和与长度归一
第二章从头写 BM25,说明长度归一在等长分块里几乎闲置。 - 第 3 章 · 词袋余弦与长块稀释:两路检索各认哪一类查询
更值得看的是错块。块长 12 时,最强错块的平均余弦 0.584 反而高于金块的 0.573,差值为负:12 个词元的金块只装得下事实的一半,另一半在隔壁块里,而全库成千上万个小块中,总有一些恰好凑齐了几个要点概念。块长 24 时金块领先最多,差值 0.085;块长 96 以后差值又回到零附近。金块击败所有错块的比例因此也呈倒 U:块长 12 时 0.528,块长 24 时达到 0.787,块长 192 时回落到 0.506。 - 第 4 章 · 重叠率:边界切断的精确概率与收益递减的拐点
块长 32 时,召回从不重叠的 0.584 一路升到重叠一半的 0.970,与 p41 预测的饱和点吻合;重叠到四分之三,块数从 2400 涨到 8400,召回反而略降到 0.964,取回文字里重复的比例从 0.120 升到 0.365。块长 64 时,召回在重叠 0.375 处达到 0.873,之后下降,重叠一半时 0.851,四分之三时 0.824,重复比例 0.331。 - 第 5 章 · 混合配比:最优权重随查询构成移动
第五章扫描混合权重:编号型查询最优 0.0,改写型最优 1.0,示意基线 0.7 / 0.3 在全改写型时遗憾 0.098;按类型分流在判别出错率为 0.10 时留出召回 0.928,已低于调好的全局权重 0.938。 - 第 6 章 · 联合网格与赢家诅咒:留出检验为什么不可省
第六章做联合网格,只用 30 条标注查询挑冠军时乐观偏差 0.028。 - 第 7 章 · 庖丁与斐德若:依自然关节切分的两种古老主张
第七章考辨《庄子·养生主》庖丁解牛与柏拉图《斐德若篇》依自然关节切分:顺着段落切零重叠零折断,块长 64、重叠一半的固定窗口仍折断 0.401 的答案,而关节识别出错会迅速吃掉这一优势。 - 第 8 章 · 季度寻优闭环与证伪方案
第八章给出知识库分块参数的季度寻优流程、蒸馏小工具「分块配比网格寻优器」、按康纳公式取样本量的预注册检验(精确麦克尼马尔检验的实测把握度 0.762)与推翻本书核心命题的三个条件。书中以标注框区分已发表的证据、可运行的 Python 计算(17 段程序)、原典与作者的假说。
模型示意算例,非实时报价