《长上下文注意力中段遗忘曲线、位置偏置与零损耗分段摘要接力阈值母典》各章定量结论
流行的说法有两种:一种认为窗口装得下就读得到,长材料一次塞进去即可;另一种认为模型读长文会「中段遗忘」,所以应当分段写摘要、层层接力。本书检验后一种说法的立项命题:中段召回显著低于首尾、呈 U 形(Liu 等 2024 年刊于《计算语言学协会汇刊》),因此整窗不如接力,而接力层数受每层保留率连乘约束。核对原文后命题被修正:开头与中间之差 0.220 的效应稳固,但原文四个模型只有两个呈 U 形,「中段低于闭卷」只见于一个模型且置信区间跨零;原论文没有测试接力,「因此」只是推论。书中任务、材料与参数均为示意,模型常数来自 2023 年的一个模型;全部计算由书中程序生成,不调用任何模型接口;本书是非个人化经营建议,不评测、不推荐任何模型或服务。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-255 · English version
- 第 1 章 · 中段塌陷:U 形位置曲线的原始数字、效应量与剂量
程序 p11 把 GPT-3.5-Turbo 在二十篇文档上的成绩拟合成一条开口朝上的抛物线,深度 17.09 个百分点。程序 p12 给出开头与中间之差 0.220 的置信区间,并说明「中段低于闭卷」跨过零;它还把最坏位置的损失拆成位置与稀释两份。程序 p13 显示文档越多,最坏位置越低,平均捕获率从 0.741 降到 0.626。这些数字都来自同一个模型、同一种任务。那么换一个模型,曲线还是 U 形吗?窗口更大的版本,会不会读得更… - 第 2 章 · 反方与异质:四种曲线、更大的窗口与单针测试
程序 p21 显示原文四个模型画出四种形状,只有一个模型的中段低于闭卷成绩,而所有模型都有明显的稀释损失。程序 p22 显示扩展窗口版本与原版的差距不超过 0.3 个百分点,远小于抽样误差。程序 p23 说明单针召回 0.997 换到一百条事实上只剩 0.740 的全中机会。描述到此为止已经够了;要预测一个从未测过的长度,我们需要一个能外推的公式。首因、近因与稀释,能不能写进同一条曲线? - 第 3 章 · 位置召回模型:首因峰、近因峰与随长度下沉的地板
程序 p31 用双指数模型分别拟合三十篇与二十篇数据,首因峰高度都是 0.249,衰减长度 2.5 与 2.2 篇,只有地板从 0.609 降到 0.578。程序 p32 把这一结构写成联合模型,五个参数拟合十二个格子,误差 0.0105,并外推出捕获曲线:四篇 0.908,三十二篇 0.612,两百五十六篇 0.477。这条曲线的每一个数都可以由经营者用自己的读者重测,第八章会给出方法。有了这条曲线,我们就能问接力的问题了:把长材料… - 第 4 章 · 接力保留率连乘:层数上限、滚动摘要的近因斜坡与细节的伤亡
第四章计算接力保留率连乘,说明滚动摘要把 U 形变成近因斜坡,细节类事实八层后只剩 0.4305。 - 第 5 章 · 最优段长与接力阈值:读的损失与写的损失之间的拉锯
第五章求最优段长与接力阈值:对 2023 年的读者,每次摘要调用的保真度须高于约 0.911,段长须很短;读者损失低于原曲线的 0.413 倍时,保真度 0.97 的接力就输给整窗。 - 第 6 章 · 关键事实复述位:零损耗只能来自模板复制与校验
第六章说明零损耗只能来自模板复制加校验码的关键事实复述位,它把关键事实的存活从 0.601 提到九成以上,但只容得下约七行。 - 第 7 章 · 原典考辨:孟子的「一日暴之,十日寒之」与艾宾浩斯的《论记忆》
程序 p72 把孟子的比喻写成参数:冷天损失百分之五时,晴天须生长 0.670 才能持平;在接力里,每十一层才复述一次,关键事实平均只剩 0.863,最差 0.737。程序 p71 显示艾宾浩斯原始数据更像幂律(误差 0.0206 对 0.0933),但重复实验更像指数,遗忘的函数形式并未定论。两部原典都指向同一个经营上的结论:关键的东西要「日日暴之」,而且要分清强弱、分开计量。最后一章要回答的,是经营者明天早上就能照着做的流程长什么… - 第 8 章 · 实证闭环:长任务接力摘要模板、关键事实复述位与预注册检验
第八章给出长任务接力摘要模板、分段接力阈值计算器与预注册检验方案。书中以标注框区分已发表的证据、可运行的 Python 计算(21 段程序)、原典与作者的假说。
模型示意算例,非实时报价