《知识库分块边界网格寻优、重叠率与向量词频混合检索配比母典》各章定量结论

知识库建库时要填三个数:块长、相邻块的重叠率、向量与词频的混合权重。流行说法是「块越小越准」与「混合检索给一个固定配比就行」。立项命题说:召回随块长呈倒 U,重叠率超过一定比例收益递减,最优混合权重依查询类型而变。本书在固定种子的合成语料上用纯标准库程序实现 BM25 与概念层面的词袋余弦,把命题写成可计算的模型,并修正蓝图三处:规格所引罗伯逊与萨拉戈萨 2009 年综述只阐述 BM25,不检验分块,直接证据来自段落检索与检索粒度研究;倒 U 只在固定阅读预算下出现,每次固定取 5 块时召回随块长单调升到 0.809,固定 192 个词元预算时在块长 48 处达到峰值 0.689;重叠的收益不是平滑递减而是到饱和点即止,块长 32、答案跨度 24 时,装下八成答案的概率在不重叠时为 0.531,重叠一半时为 1.000,索引为 2.00 倍。书中参数为示意;全部计算由书中程序生成;程序不读写任何文件,不连接任何线上知识库;本书是非个人化经营建议,任何线上知识库参数的改动须经离线评测并由主事者人工复核放行。

DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-261 · English version

模型示意算例,非实时报价