《机器可读知识库超链接权威传播、生成式问答检索截断博弈与高信噪比摘要提取》各章定量结论
当读者直接向生成式问答系统提问时,一个知识库的页面能否被找到、放进上下文并被引用?流行的建议很多,却几乎都不说明在什么条件下成立、效果多大、什么结果会证明它错。本书沿着一段文字被引用之前要经过的路径逐层建模:链接图上的权威、词法检索的打分、上下文的截断、内容方之间的竞争、重排器的选择。书中参数为示意;全部计算由书中程序生成;本书不是法律、理财或经营方面的个人化建议,也不对任何系统中的引用排名作出承诺。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-176 · English version
- 第 1 章 · 幂迭代与阻尼系数:超链接权威在知识库里怎样流动
第一章用幂迭代与随机冲浪者计算 PageRank 与 HITS:在阻尼系数 0.85 的示意知识库里,母典页拿到 0.3240,是均匀份额的 2.59 倍。 - 第 2 章 · 母典页:内链拓扑如何把权威集中到一处
第二章证明星形内链下母典页的份额有一个与库的大小无关的上限 $d/(1+d)$,即 0.4595。 - 第 3 章 · BM25 与长度归一化:堆砌、填充与直答句的词频账
第三章用标准库实现 BM25,说明堆砌很快到顶、填充按长度打折:十二个词的直答句填充到二百四十个词只剩原分数的 0.302。 - 第 4 章 · top-k 截断:一个文段被放进上下文的概率
第四章计算 top-k 截断下的入选概率:想有九成把握进入前三名,需要 2.46 个标准差的分数优势。 - 第 5 章 · 争夺 k 个位置:位置拍卖、同质化与公地
第五章借用位置拍卖与比例竞赛,说明十个竞争者会烧掉位置价值的 0.900,而奖励重复的系统使内容同质化。 - 第 6 章 · 信噪比与 softmax 重排:直答片段的获选概率增益
第六章是全书核心,推导直答片段在 softmax 重排器中的获选概率增益:在二十个候选、温度为一的示意设定下增益为 4.65;结构化元素在竞争者很少采用时把获选概率提高到 0.5866,在竞争者普遍采用后只剩 0.1204。 - 第 7 章 · 原典考辨:郑樵《校雠略》的类例与布什的联想轨迹
第七章对读郑樵《通志·校雠略》与布什《诚如我们所思》,用程序说明分类只有在准确率高于 0.667 时才帮助检索。 - 第 8 章 · 实践与证伪方案:文案检查器、出版清单与预注册检验
第八章给出出版者清单、文案检查器与预注册检验方案,检测一个中等提升每组需要 1,081 次运行。书中以标注框区分已发表的证据、可运行的 Python 计算(20 段程序)、原典与作者的假说。
模型示意算例,非实时报价