《长上下文注意力中段遗忘曲线、位置偏置与零损耗分段摘要接力阈值母典》各章定量结论

流行的说法有两种:一种认为窗口装得下就读得到,长材料一次塞进去即可;另一种认为模型读长文会「中段遗忘」,所以应当分段写摘要、层层接力。本书检验后一种说法的立项命题:中段召回显著低于首尾、呈 U 形(Liu 等 2024 年刊于《计算语言学协会汇刊》),因此整窗不如接力,而接力层数受每层保留率连乘约束。核对原文后命题被修正:开头与中间之差 0.220 的效应稳固,但原文四个模型只有两个呈 U 形,「中段低于闭卷」只见于一个模型且置信区间跨零;原论文没有测试接力,「因此」只是推论。书中任务、材料与参数均为示意,模型常数来自 2023 年的一个模型;全部计算由书中程序生成,不调用任何模型接口;本书是非个人化经营建议,不评测、不推荐任何模型或服务。

DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-255 · English version

模型示意算例,非实时报价