《抗模型崩溃双锚真源工程、自产语料回喂方差坍缩速率与标准库验算校勘免疫母典》各章定量结论
用模型自产的内容逐代重训,分布的尾部会逐代消失、宽度会逐代塌缩,Shumailov 等人 2024 年在《自然》上称之为模型坍缩。本书检验立项命题「方差按 σ²(1-1/N)^n 坍缩,每代混入固定比例真源可阻止坍缩」,核对原文后作出修正:这条公式只是最大似然重估下的期望,论文的定理用无偏估计,期望不变而方差几乎必然归零;固定比例的说法不是该论文的结论,真源能保住多少取决于每代真源的绝对个数。书中参数为示意;全部计算由书中程序生成,不调用任何模型接口,不使用任何读者或客户的数据;本书是非个人化的经营与工程参考。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-265 · English version
- 第 1 章 · 方差逐代坍缩:高斯回喂链的期望公式与几乎必然归零
第一、二章推导高斯回喂链与离散吸收链:每代 100 个样本时第 100 代期望方差只剩 0.3660,典型值约以两倍速度坍缩;一个类别最终丢失的概率等于 1 减去初始份额。 - 第 2 章 · 尾部先死:离散分布的逐代灭绝与 Wright–Fisher 吸收态
程序 p21 说明,一代有限抽样就会删掉一大片尾部:每代 1000 个样本时,1000 类的齐普夫名单期望消失 666.3 类,尾部自身的质量丢掉 0.8254,头部几乎无损。程序 p22 用精确的转移矩阵说明,单个类别最终丢失的概率等于 1 减去初始份额,回喂链的终点是单点分布。程序 p23 展示了整张名单从尾部先死到头部互吞的两阶段衰亡。既然坍缩源于每一代都把上一代的产出当作全部训练数据,一个自然的问题是:如果不丢旧数据,而是把每… - 第 3 章 · 替换还是累积:Gerstgrasser 反证与 π²/6 上界
第三章并陈 Gerstgrasser 等人的反方证据,累积而非替换真数据时,高斯孪生版的均值误差被 π²/6 即 1.644934 封顶。 - 第 4 章 · 真源混合阈值:固定比例保住了多少方差,又漏掉了多少尾部
第四章算出真源混合的不动点:同样每代混入 0.01 的真源,N 从 100 增到 10000,期望方差从 0.6644 升到 0.9950;尾部覆盖只认个数,每代 1000 个真样本时不论比例如何都只覆盖 0.0256 的尾部类别。 - 第 5 章 · 坍缩体检:向内看的指标为何失明,向外看的锚点要多少数据
第五章说明向内看的检测指标在坍缩中越来越乐观,Good–Turing 缺失质量从 0.0677 降到 0.0009,而真实缺失在上升。 - 第 6 章 · 第一锚:标准库验算、确定性指纹与双锚的相关失效
第六章讨论第一锚:标准库验算、math.fsum 的顺序无关与双锚的相关失效,两锚合用使一本 300 个数字的书无错的概率升到 0.6769。 - 第 7 章 · 原典考辨:段玉裁「定其是非之难」与伊拉斯谟 1516 年的回到原文
第七章考辨段玉裁「定其是非之难」与伊拉斯谟 1516 年的《新约全书》。 - 第 8 章 · 实证闭环:每卷双锚流程、回喂坍缩速率计算器与预注册检验
第八章给出每卷八步双锚流程、蒸馏小工具「回喂坍缩速率计算器」与预注册检验。书中以标注框区分已发表的证据、可运行的 Python 计算(22 段程序)、原典与作者的假说。
模型示意算例,非实时报价