5D Library › 信息几何、费希尔信息度量与自然梯度优化的统计流形 · English
序:换了坐标,什么不变?
注
适用范围,请先读这一段。 本书是教学与研究用的数理统计与优化理论著作,不是对任何具体机器学习系统、模型或产品性能的保证,也不是工程选型、投资或职业建议。书中所有数据(样本、任务、损失曲线、计时)都是程序合成或模拟的,不来自任何真实系统;程序中的「计算量」是按写明的规则折算的单位,不是任何硬件上的实测时间。书中关于优化器快慢的结果只在写明的模型、维数与参数下成立,换一个问题可能相反。本书不提供「保证收敛更快」「必然泛化更好」或「证明最优」的方法。
同一族概率分布,可以用不同的参数来描述:一枚硬币正面朝上的概率可以写成 ,也可以写成对数几率 ;正态分布的离散程度可以用标准差 ,也可以用方差 或 。参数换了,分布本身没有变。可是很多我们习以为常的做法却依赖这个选择:参数空间里的「直线距离」、在参数上取「均匀」的先验、沿着参数的梯度方向下降一步——换一套坐标,这些都会变。信息几何的出发点是:既然坐标是人为选择的,那么就应当寻找不随坐标改变的量。费希尔信息给出了这样一个度量,它把一族分布变成一个黎曼流形;由此可以定义不变的先验(杰弗里斯)、不变的下降方向(自然梯度),并刻画估计精度的极限(克拉美—拉奥)。
作者的框架把这些结果串成一条线,并在几处写得比数学所能支持的更强:下界「总能达到」,杰弗里斯先验「无信息、总是合适」,自然梯度「证明」能在病态山谷中消除震荡、「总是更快」,经验费希尔可以代替费希尔,以及奇异学习理论「解释了」深度学习为何泛化。本书的做法是先核对这些说法,能证伪的证伪,需要限定的写明条件,然后给出数学上能成立的边界,并用可以运行的程序检查每一个数字。
本书的内容
第一章讨论费希尔信息作为度量:得分函数、KL 散度的二阶展开、钦佐夫(Čencov)唯一性定理的准确条件、统计量与信息的单调性,以及 KL 为什么不是距离;第二章讨论克拉美—拉奥下界,它何时能达到、何时达不到,有偏估计、詹姆斯—斯坦收缩与超有效估计如何「低于」它,以及正则条件失效的情形;第三章讨论杰弗里斯先验的不变性、不可积性、内曼—斯科特问题、对抽样设计的依赖与参考先验;第四章讨论甘利俊一(Amari)的自然梯度:不变性在什么意义上成立,它与牛顿法、高斯—牛顿法的关系,在病态逻辑回归与一个小型神经网络上与梯度下降、Adam、经验费希尔和 K-FAC 的比较;第五章讨论指数族的对偶平坦结构、勒让德对偶、布雷格曼散度、α-联络与广义勾股定理,以及迭代比例拟合与 EM 算法的投影解释;第六章讨论渡边澄夫的奇异学习理论:当费希尔矩阵退化时,BIC 的 为什么不对,实对数典范阈 怎样计算,WAIC 与 WBIC,以及这套理论对深度学习能说明什么、不能说明什么;第七章与《周易·系辞》「变动不居,周流六虚」及其注疏并读;第八章给出四步核查表与一项预注册的计算基准试验方案。
本书与 5D Library 的几本书相邻,重叠处只作简短回顾并注明出处,不重复其程序:第 11 本《算法之镜》讨论过条件熵与互信息(本书第一、五章的 KL 散度与互信息只从几何角度补充);第 15 本《沙盘、宿命与主动推理》讨论过变分自由能与 KL 散度在主动推理中的用法(本书第六章的「自由能」是贝叶斯边际似然的负对数,与之同名而含义不同);第 26 本《概率判断、布莱尔分数校准与群体智慧的统计理论》讨论过严格恰当评分规则(对数评分与 KL 散度的关系在第一章只提一句);第 33 本《科学方法论、可证伪性与可重复性危机的数理统计》讨论过预注册、把握度与判定规则(第八章沿用);第 42 本《未知地形中的贝叶斯搜索、秘书问题与吉廷斯指数》讨论过贝叶斯更新与先验的选择(第三章只回顾)。第 23 本讨论过随机梯度下降与学习率,第四章不重复。
核对后修正的说法
作者给出的框架中,有以下几处经核对需要修正、补充或限定。各章遇到时如实说明,并汇总在随书的《编辑说明》中。
- 费希尔度量的「唯一性」。 钦佐夫的定理(俄文原著 1972 年,英译 1982 年)说的是:在有限样本空间上,对所有马尔可夫嵌入(可以理解为不丢失信息的「细分」)保持不变的黎曼度量,只有费希尔度量,至多差一个常数倍 (Čencov 1982);坎贝尔推广到非归一化的正测度 (Campbell 1986),艾、约斯特、黎与施瓦赫霍费尔推广到一般样本空间上的参数化测度模型 (Ay et al. 2015),鲍尔、布鲁韦里斯与米霍尔在光滑密度空间上给出了另一种表述 (Bauer et al. 2016)。所以「唯一」是相对于一个明确的不变性要求而言的,不是说统计流形上只能有这一种度量。程序显示欧氏度量在细分类别时就会改变(第一章)。
- KL 散度的二阶展开与「距离」。 核对无误,程序在伯努利与正态模型上逐级验证;但 KL 散度不对称,也不满足三角不等式,连它的平方根也不满足,不应称为「距离」。真正的距离是由度量积分出来的费希尔—拉奥测地距离,拉奥 1945 年的同一篇论文已经提出 (Rao 1945)(第一章)。
- 克拉美—拉奥下界「总能达到」。 下界由拉奥 1945 年 (Rao 1945) 与克拉美 1946 年 (Cramér 1946) 得到,弗雷歇 (Fréchet 1943) 与达尔穆瓦 (Darmois 1945) 也独立得到,艾特肯与西尔弗斯通 1942 年已有相关结果 (Aitken and Silverstone 1942)。「总能达到」是错的:在有限样本中,无偏估计量恰好达到下界当且仅当模型是指数族、被估计的是其充分统计量的期望(均值参数)或它的线性函数;指数分布的率参数没有达到下界的无偏估计;有偏估计的均方误差可以低于无偏下界(正态方差的 SS/(n+1)、詹姆斯—斯坦估计量 (James and Stein 1961));均匀分布端点这类支撑依赖参数的模型不满足正则条件,下界不适用;霍奇斯的超有效估计量说明下界只在「几乎处处」的渐近意义上成立 (Le Cam 1953)(第二章)。
- 杰弗里斯先验「无信息、总是合适」。 杰弗里斯 1946 年的论文载于《皇家学会会刊 A 辑》第 186 卷第 1007 期第 453–461 页 (Jeffreys 1946),核对无误。但这一规则给出的先验对正态均值、泊松率都不可积(improper);多参数时杰弗里斯本人建议对位置—尺度族用「独立」形式 而不是 给出的 (Jeffreys 1961);在内曼—斯科特问题中联合规则使后验集中在错误的值上;它依赖抽样设计(二项与负二项给出不同的先验),因而违反似然原理 (Kass and Wasserman 1996; Berger and Wolpert 1988)。「无信息」只是一个说法,伯纳多的参考先验是更系统的推广 (Bernardo 1979; Berger et al. 2009)(第三章)。
- 自然梯度的「证明」与「总是更快」。 甘利 1998 年的论文载于《神经计算》第 10 卷第 2 期第 251–276 页 (Amari 1998)。它的主要结论是在线自然梯度学习在渐近意义下是费希尔有效的,并认为自然梯度可以减轻多层网络中的「平台」现象;作者框架所说的「在病态山谷中消除坐标依赖震荡的证明」应改写为一个较弱、但确实成立的事实:当费希尔矩阵等于损失的黑塞矩阵(例如二次损失或典范连接的广义线性模型)时,自然梯度步就是牛顿步,因此不受条件数的影响。不变性只对连续时间的梯度流严格成立;离散步长下,不同坐标下的结果相差 ,只有一阶不变 (Martens 2020)。程序显示,自然梯度按步数通常最少,但按计算量不一定最省:条件良好时梯度下降更省,在一个小型神经网络上 Adam 更省 (Kingma and Ba 2015)。「经验费希尔」不是费希尔 (Kunstner et al. 2019),K-FAC 是一种近似 (Martens and Grosse 2015)(第四章)。
- 广义勾股定理的条件。 成立的条件是: 是 到一个 e-平坦子流形(例如指数族)的 m-投影(使 最小的点), 是该子流形中任意一点;等价地说,连接 与 的 m-测地线与连接 与 的 e-测地线正交。顺序与方向不能交换,程序显示交换后等式不成立 (Amari and Nagaoka 2000; Csiszár 1975)(第五章)。
- 奇异学习理论与深度学习。 在参数不可辨识、费希尔矩阵退化的模型中,BIC 的惩罚 不对,贝叶斯自由能的主项是 , 是实对数典范阈 (Watanabe 2009);WAIC (Watanabe 2010) 与 WBIC (Watanabe 2013) 在奇异模型中仍然适用。程序在 模型中算出 (BIC 用 )。但「神经网络的奇异性已经解释了深度学习的泛化」不成立:这套理论刻画的是贝叶斯后验的自由能与泛化误差的渐近行为,而实际训练用的是随机梯度下降得到的点估计;把两者联系起来的工作仍在进行之中 (Wei et al. 2023; Lau et al. 2025)(第六章)。
- 原典。 《周易·系辞下》「《易》之为书也不可远,为道也屡迁,变动不居,周流六虚,上下无常,刚柔相易,不可为典要,唯变所适」,经文与注疏据网络所见四库全书本录文(维基文库《周易正义(四库全书本)》卷十二)核对无误;阮元校刻《十三经注疏》本 (阮元 校刻 1980) 纸本待作者复核(尤其孔疏「因/困」一字)。作者框架称「王弼、韩康伯注」:《周易正义》中上下经的注出自王弼,《系辞》以下的注出自韩康伯,所以这一段只有韩注「六虚,六位也」;孔颖达疏释「六虚」为六爻之位。「表征不变性」的对勘是类比,不主张《周易》含有微分几何,也不支持把卦象当作统计模型(第七章)。
- 第八章的结局。 作者框架建议比较「达到目标损失的步数或墙钟时间」。只设一项主要结局,本书选墙钟时间之比的对数:步数会偏袒每步计算量大的方法(第四章已显示自然梯度步数最少而计算量未必最少)。梯度评估次数作次要结局(第八章)。
如何阅读标注框
与 5D Library 的其他书一样,不同类型的陈述分开标注。
证据
证据框报告已发表的研究结果,并注明出处。
推导
推导框给出简短的 Python 程序。每段程序都可以在标准 Python 3(3.8 及以上)环境中原样运行,只用标准库,固定了随机种子,程序下方附有实际运行结果。书中的样本、任务与损失曲线都是程序合成的,参数是示意值,不是对任何真实系统的估计。
假说 · 尚未验证
假说框是作者的想法,标明「尚未确立」,并写明什么样的结果能证明它是错的。作者自己的模型与定义在正文中标明「作者的模型」。
原典
原典框引用古代文献,并附白话解释。
注
注框给出提醒并解释取舍。
本版说明
这是 1.0.0 版,第一个完整版:序与八章,中英双语。书中共有 16 段 Python 程序与 5 张矢量图。正文、标注框与代码由 AI 写作工具依据作者提供的书名、框架与要点起草,作者负责审阅、修改并核对出处。AI 起草的文字可能在文献细节上出错,欢迎通过 5D Library 网站指正。第四章程序中「梯度评估单位」的计算量折算、第七章的「位—爻 / 坐标—对象」对照表与第八章的试点环境是作者的模型;它们的数学性质不是对任何真实训练系统的预测。
利益披露
作者以 5D Library 的著作(包括本书)作为其社群课程、升维牌卡(5D Ascension Cards,Dimensional Shift Card Decks)与 Yafu AI 知识库的方法论基础,因此与本书主题有商业利益关系。本书不推销任何课程、牌卡或服务;第八章的试验设计为由独立于作者企业的研究人员实施和分析,不从作者的社群、学员或客户中招募;书中所有代码与研究方案均公开,供任何人检验。作者经营的企业在内容制作与知识库中使用机器学习与 AI 工具,但本书讨论的方法与其商业产品之间没有直接的销售关系。
参考文献
Fan, Y. (2026). Information Geometry, the Fisher Information Metric and Natural-Gradient Optimisation on Statistical Manifolds: From the Cramér–Rao Bound and Jeffreys's Prior to Singular Learning Theory, Read Beside Classical Chinese Thought on Change and Coordinates [信息几何、费希尔信息度量与自然梯度优化的统计流形] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23836268 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).