5D Library › 信息几何、费希尔信息度量与自然梯度优化的统计流形 · English

序:换了坐标,什么不变?

注

适用范围,请先读这一段。 本书是教学与研究用的数理统计与优化理论著作,不是对任何具体机器学习系统、模型或产品性能的保证,也不是工程选型、投资或职业建议。书中所有数据(样本、任务、损失曲线、计时)都是程序合成或模拟的,不来自任何真实系统;程序中的「计算量」是按写明的规则折算的单位,不是任何硬件上的实测时间。书中关于优化器快慢的结果只在写明的模型、维数与参数下成立,换一个问题可能相反。本书不提供「保证收敛更快」「必然泛化更好」或「证明最优」的方法。

同一族概率分布,可以用不同的参数来描述:一枚硬币正面朝上的概率可以写成 pp,也可以写成对数几率 log⁡p1−p\log\frac{p}{1-p};正态分布的离散程度可以用标准差 σ\sigma,也可以用方差 σ2\sigma^2 或 log⁡σ\log\sigma。参数换了,分布本身没有变。可是很多我们习以为常的做法却依赖这个选择:参数空间里的「直线距离」、在参数上取「均匀」的先验、沿着参数的梯度方向下降一步——换一套坐标,这些都会变。信息几何的出发点是:既然坐标是人为选择的,那么就应当寻找不随坐标改变的量。费希尔信息给出了这样一个度量,它把一族分布变成一个黎曼流形;由此可以定义不变的先验(杰弗里斯)、不变的下降方向(自然梯度),并刻画估计精度的极限(克拉美—拉奥)。

作者的框架把这些结果串成一条线,并在几处写得比数学所能支持的更强:下界「总能达到」,杰弗里斯先验「无信息、总是合适」,自然梯度「证明」能在病态山谷中消除震荡、「总是更快」,经验费希尔可以代替费希尔,以及奇异学习理论「解释了」深度学习为何泛化。本书的做法是先核对这些说法,能证伪的证伪,需要限定的写明条件,然后给出数学上能成立的边界,并用可以运行的程序检查每一个数字。

本书的内容

第一章讨论费希尔信息作为度量:得分函数、KL 散度的二阶展开、钦佐夫(Čencov)唯一性定理的准确条件、统计量与信息的单调性,以及 KL 为什么不是距离;第二章讨论克拉美—拉奥下界,它何时能达到、何时达不到,有偏估计、詹姆斯—斯坦收缩与超有效估计如何「低于」它,以及正则条件失效的情形;第三章讨论杰弗里斯先验的不变性、不可积性、内曼—斯科特问题、对抽样设计的依赖与参考先验;第四章讨论甘利俊一(Amari)的自然梯度:不变性在什么意义上成立,它与牛顿法、高斯—牛顿法的关系,在病态逻辑回归与一个小型神经网络上与梯度下降、Adam、经验费希尔和 K-FAC 的比较;第五章讨论指数族的对偶平坦结构、勒让德对偶、布雷格曼散度、α-联络与广义勾股定理,以及迭代比例拟合与 EM 算法的投影解释;第六章讨论渡边澄夫的奇异学习理论:当费希尔矩阵退化时,BIC 的 d/2d/2 为什么不对,实对数典范阈 λ\lambda 怎样计算,WAIC 与 WBIC,以及这套理论对深度学习能说明什么、不能说明什么;第七章与《周易·系辞》「变动不居,周流六虚」及其注疏并读;第八章给出四步核查表与一项预注册的计算基准试验方案。

本书与 5D Library 的几本书相邻,重叠处只作简短回顾并注明出处,不重复其程序:第 11 本《算法之镜》讨论过条件熵与互信息(本书第一、五章的 KL 散度与互信息只从几何角度补充);第 15 本《沙盘、宿命与主动推理》讨论过变分自由能与 KL 散度在主动推理中的用法(本书第六章的「自由能」是贝叶斯边际似然的负对数,与之同名而含义不同);第 26 本《概率判断、布莱尔分数校准与群体智慧的统计理论》讨论过严格恰当评分规则(对数评分与 KL 散度的关系在第一章只提一句);第 33 本《科学方法论、可证伪性与可重复性危机的数理统计》讨论过预注册、把握度与判定规则(第八章沿用);第 42 本《未知地形中的贝叶斯搜索、秘书问题与吉廷斯指数》讨论过贝叶斯更新与先验的选择(第三章只回顾)。第 23 本讨论过随机梯度下降与学习率,第四章不重复。

核对后修正的说法

作者给出的框架中,有以下几处经核对需要修正、补充或限定。各章遇到时如实说明,并汇总在随书的《编辑说明》中。

  1. 费希尔度量的「唯一性」。 钦佐夫的定理(俄文原著 1972 年,英译 1982 年)说的是:在有限样本空间上,对所有马尔可夫嵌入(可以理解为不丢失信息的「细分」)保持不变的黎曼度量,只有费希尔度量,至多差一个常数倍 (Čencov 1982);坎贝尔推广到非归一化的正测度 (Campbell 1986),艾、约斯特、黎与施瓦赫霍费尔推广到一般样本空间上的参数化测度模型 (Ay et al. 2015),鲍尔、布鲁韦里斯与米霍尔在光滑密度空间上给出了另一种表述 (Bauer et al. 2016)。所以「唯一」是相对于一个明确的不变性要求而言的,不是说统计流形上只能有这一种度量。程序显示欧氏度量在细分类别时就会改变(第一章)。
  2. KL 散度的二阶展开与「距离」。 D(θ∥θ+dθ)≈12dθ⊤G(θ)dθD(\theta\,\|\,\theta+d\theta) \approx \tfrac12 d\theta^\top G(\theta)\, d\theta 核对无误,程序在伯努利与正态模型上逐级验证;但 KL 散度不对称,也不满足三角不等式,连它的平方根也不满足,不应称为「距离」。真正的距离是由度量积分出来的费希尔—拉奥测地距离,拉奥 1945 年的同一篇论文已经提出 (Rao 1945)(第一章)。
  3. 克拉美—拉奥下界「总能达到」。 下界由拉奥 1945 年 (Rao 1945) 与克拉美 1946 年 (Cramér 1946) 得到,弗雷歇 (Fréchet 1943) 与达尔穆瓦 (Darmois 1945) 也独立得到,艾特肯与西尔弗斯通 1942 年已有相关结果 (Aitken and Silverstone 1942)。「总能达到」是错的:在有限样本中,无偏估计量恰好达到下界当且仅当模型是指数族、被估计的是其充分统计量的期望(均值参数)或它的线性函数;指数分布的率参数没有达到下界的无偏估计;有偏估计的均方误差可以低于无偏下界(正态方差的 SS/(n+1)、詹姆斯—斯坦估计量 (James and Stein 1961));均匀分布端点这类支撑依赖参数的模型不满足正则条件,下界不适用;霍奇斯的超有效估计量说明下界只在「几乎处处」的渐近意义上成立 (Le Cam 1953)(第二章)。
  4. 杰弗里斯先验「无信息、总是合适」。 杰弗里斯 1946 年的论文载于《皇家学会会刊 A 辑》第 186 卷第 1007 期第 453–461 页 (Jeffreys 1946),核对无误。但这一规则给出的先验对正态均值、泊松率都不可积(improper);多参数时杰弗里斯本人建议对位置—尺度族用「独立」形式 1/σ1/\sigma 而不是 det⁡G\sqrt{\det G} 给出的 1/σ21/\sigma^2 (Jeffreys 1961);在内曼—斯科特问题中联合规则使后验集中在错误的值上;它依赖抽样设计(二项与负二项给出不同的先验),因而违反似然原理 (Kass and Wasserman 1996; Berger and Wolpert 1988)。「无信息」只是一个说法,伯纳多的参考先验是更系统的推广 (Bernardo 1979; Berger et al. 2009)(第三章)。
  5. 自然梯度的「证明」与「总是更快」。 甘利 1998 年的论文载于《神经计算》第 10 卷第 2 期第 251–276 页 (Amari 1998)。它的主要结论是在线自然梯度学习在渐近意义下是费希尔有效的,并认为自然梯度可以减轻多层网络中的「平台」现象;作者框架所说的「在病态山谷中消除坐标依赖震荡的证明」应改写为一个较弱、但确实成立的事实:当费希尔矩阵等于损失的黑塞矩阵(例如二次损失或典范连接的广义线性模型)时,自然梯度步就是牛顿步,因此不受条件数的影响。不变性只对连续时间的梯度流严格成立;离散步长下,不同坐标下的结果相差 O(η)O(\eta),只有一阶不变 (Martens 2020)。程序显示,自然梯度按步数通常最少,但按计算量不一定最省:条件良好时梯度下降更省,在一个小型神经网络上 Adam 更省 (Kingma and Ba 2015)。「经验费希尔」不是费希尔 (Kunstner et al. 2019),K-FAC 是一种近似 (Martens and Grosse 2015)(第四章)。
  6. 广义勾股定理的条件。 D(p∥r)=D(p∥q)+D(q∥r)D(p\,\|\,r) = D(p\,\|\,q) + D(q\,\|\,r) 成立的条件是:qq 是 pp 到一个 e-平坦子流形(例如指数族)的 m-投影(使 D(p∥⋅)D(p\,\|\,\cdot) 最小的点),rr 是该子流形中任意一点;等价地说,连接 pp 与 qq 的 m-测地线与连接 qq 与 rr 的 e-测地线正交。顺序与方向不能交换,程序显示交换后等式不成立 (Amari and Nagaoka 2000; Csiszár 1975)(第五章)。
  7. 奇异学习理论与深度学习。 在参数不可辨识、费希尔矩阵退化的模型中,BIC 的惩罚 d2log⁡n\tfrac d2\log n 不对,贝叶斯自由能的主项是 λlog⁡n−(m−1)log⁡log⁡n\lambda\log n – (m-1)\log\log n,λ≤d/2\lambda \le d/2 是实对数典范阈 (Watanabe 2009);WAIC (Watanabe 2010) 与 WBIC (Watanabe 2013) 在奇异模型中仍然适用。程序在 y=abxy = abx 模型中算出 λ=1/2\lambda = 1/2(BIC 用 11)。但「神经网络的奇异性已经解释了深度学习的泛化」不成立:这套理论刻画的是贝叶斯后验的自由能与泛化误差的渐近行为,而实际训练用的是随机梯度下降得到的点估计;把两者联系起来的工作仍在进行之中 (Wei et al. 2023; Lau et al. 2025)(第六章)。
  8. 原典。 《周易·系辞下》「《易》之为书也不可远,为道也屡迁,变动不居,周流六虚,上下无常,刚柔相易,不可为典要,唯变所适」,经文与注疏据网络所见四库全书本录文(维基文库《周易正义(四库全书本)》卷十二)核对无误;阮元校刻《十三经注疏》本 (阮元 校刻 1980) 纸本待作者复核(尤其孔疏「因/困」一字)。作者框架称「王弼、韩康伯注」:《周易正义》中上下经的注出自王弼,《系辞》以下的注出自韩康伯,所以这一段只有韩注「六虚,六位也」;孔颖达疏释「六虚」为六爻之位。「表征不变性」的对勘是类比,不主张《周易》含有微分几何,也不支持把卦象当作统计模型(第七章)。
  9. 第八章的结局。 作者框架建议比较「达到目标损失的步数或墙钟时间」。只设一项主要结局,本书选墙钟时间之比的对数:步数会偏袒每步计算量大的方法(第四章已显示自然梯度步数最少而计算量未必最少)。梯度评估次数作次要结局(第八章)。

如何阅读标注框

与 5D Library 的其他书一样,不同类型的陈述分开标注。

证据

证据框报告已发表的研究结果,并注明出处。

推导

推导框给出简短的 Python 程序。每段程序都可以在标准 Python 3(3.8 及以上)环境中原样运行,只用标准库,固定了随机种子,程序下方附有实际运行结果。书中的样本、任务与损失曲线都是程序合成的,参数是示意值,不是对任何真实系统的估计。

假说 · 尚未验证

假说框是作者的想法,标明「尚未确立」,并写明什么样的结果能证明它是错的。作者自己的模型与定义在正文中标明「作者的模型」。

原典

原典框引用古代文献,并附白话解释。

注

注框给出提醒并解释取舍。

本版说明

这是 1.0.0 版,第一个完整版:序与八章,中英双语。书中共有 16 段 Python 程序与 5 张矢量图。正文、标注框与代码由 AI 写作工具依据作者提供的书名、框架与要点起草,作者负责审阅、修改并核对出处。AI 起草的文字可能在文献细节上出错,欢迎通过 5D Library 网站指正。第四章程序中「梯度评估单位」的计算量折算、第七章的「位—爻 / 坐标—对象」对照表与第八章的试点环境是作者的模型;它们的数学性质不是对任何真实训练系统的预测。

利益披露

作者以 5D Library 的著作(包括本书)作为其社群课程、升维牌卡(5D Ascension Cards,Dimensional Shift Card Decks)与 Yafu AI 知识库的方法论基础,因此与本书主题有商业利益关系。本书不推销任何课程、牌卡或服务;第八章的试验设计为由独立于作者企业的研究人员实施和分析,不从作者的社群、学员或客户中招募;书中所有代码与研究方案均公开,供任何人检验。作者经营的企业在内容制作与知识库中使用机器学习与 AI 工具,但本书讨论的方法与其商业产品之间没有直接的销售关系。

参考文献

Aitken, A. C., and H. Silverstone. 1942. “On the Estimation of Statistical Parameters.” Proceedings of the Royal Society of Edinburgh, Section A 61 (2): 186–94. https://doi.org/10.1017/S008045410000618X.
Amari, Shun-ichi. 1998. “Natural Gradient Works Efficiently in Learning.” Neural Computation 10 (2): 251–76. https://doi.org/10.1162/089976698300017746.
Amari, Shun-ichi, and Hiroshi Nagaoka. 2000. Methods of Information Geometry. Vol. 191. Translations of Mathematical Monographs. American Mathematical Society; Oxford University Press.
Ay, Nihat, Jürgen Jost, Hông Vân Lê, and Lorenz Schwachhöfer. 2015. “Information Geometry and Sufficient Statistics.” Probability Theory and Related Fields 162 (1–2): 327–64. https://doi.org/10.1007/s00440-014-0574-8.
Bauer, Martin, Martins Bruveris, and Peter W. Michor. 2016. “Uniqueness of the Fisher–Rao Metric on the Space of Smooth Densities.” Bulletin of the London Mathematical Society 48 (3): 499–506.
Berger, James O., José M. Bernardo, and Dongchu Sun. 2009. “The Formal Definition of Reference Priors.” Annals of Statistics 37 (2): 905–38.
Berger, James O., and Robert L. Wolpert. 1988. The Likelihood Principle. 2nd ed. Vol. 6. IMS Lecture Notes – Monograph Series. Institute of Mathematical Statistics.
Bernardo, José M. 1979. “Reference Posterior Distributions for Bayesian Inference.” Journal of the Royal Statistical Society. Series B 41 (2): 113–47.
Campbell, L. L. 1986. “An Extended Čencov Characterization of the Information Metric.” Proceedings of the American Mathematical Society 98 (1): 135–41.
Čencov, N. N. 1982. Statistical Decision Rules and Optimal Inference. Russian Original: Nauka, Moscow, 1972. Vol. 53. Translations of Mathematical Monographs. American Mathematical Society.
Cramér, Harald. 1946. Mathematical Methods of Statistics. Princeton University Press.
Csiszár, Imre. 1975. “II-Divergence Geometry of Probability Distributions and Minimization Problems.” Annals of Probability 3 (1): 146–58.
Darmois, Georges. 1945. “Sur Les Limites de La Dispersion de Certaines Estimations.” Revue de l’Institut International de Statistique 13 (1/4): 9–15.
Fréchet, Maurice. 1943. “Sur l’extension de Certaines évaluations Statistiques Au Cas de Petits échantillons.” Revue de l’Institut International de Statistique 11 (3): 182–205.
James, W., and Charles Stein. 1961. “Estimation with Quadratic Loss.” Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability 1: 361–79.
Jeffreys, Harold. 1946. “An Invariant Form for the Prior Probability in Estimation Problems.” Proceedings of the Royal Society of London. Series A 186 (1007): 453–61. https://doi.org/10.1098/rspa.1946.0056.
Jeffreys, Harold. 1961. Theory of Probability. 3rd ed. Oxford University Press.
Kass, Robert E., and Larry Wasserman. 1996. “The Selection of Prior Distributions by Formal Rules.” Journal of the American Statistical Association 91 (435): 1343–70.
Kingma, Diederik P., and Jimmy Ba. 2015. “Adam: A Method for Stochastic Optimization.” 3rd International Conference on Learning Representations (ICLR).
Kunstner, Frederik, Philipp Hennig, and Lukas Balles. 2019. “Limitations of the Empirical Fisher Approximation for Natural Gradient Descent.” Advances in Neural Information Processing Systems 32: 4156–67.
Lau, Edmund, Zach Furman, George Wang, Daniel Murfet, and Susan Wei. 2025. “The Local Learning Coefficient: A Singularity-Aware Complexity Measure.” Proceedings of the 28th International Conference on Artificial Intelligence and Statistics (AISTATS 2025), Proceedings of machine learning research, vol. 258: 244–52. https://arxiv.org/abs/2308.12108.
Le Cam, Lucien. 1953. “On Some Asymptotic Properties of Maximum Likelihood Estimates and Related Bayes’ Estimates.” University of California Publications in Statistics 1: 277–330.
Martens, James. 2020. “New Insights and Perspectives on the Natural Gradient Method.” Journal of Machine Learning Research 21 (146): 1–76.
Martens, James, and Roger Grosse. 2015. “Optimizing Neural Networks with Kronecker-Factored Approximate Curvature.” Proceedings of the 32nd International Conference on Machine Learning, Proceedings of machine learning research, vol. 37: 2408–17.
Rao, C. Radhakrishna. 1945. “Information and the Accuracy Attainable in the Estimation of Statistical Parameters.” Bulletin of the Calcutta Mathematical Society 37 (3): 81–91.
Watanabe, Sumio. 2009. Algebraic Geometry and Statistical Learning Theory. Vol. 25. Cambridge Monographs on Applied and Computational Mathematics. Cambridge University Press.
Watanabe, Sumio. 2010. “Asymptotic Equivalence of Bayes Cross Validation and Widely Applicable Information Criterion in Singular Learning Theory.” Journal of Machine Learning Research 11: 3571–94.
Watanabe, Sumio. 2013. “A Widely Applicable Bayesian Information Criterion.” Journal of Machine Learning Research 14: 867–97.
Wei, Susan, Daniel Murfet, Mingming Gong, Hui Li, Jesse Gell-Redman, and Thomas Quella. 2023. “Deep Learning Is Singular, and That’s Good.” IEEE Transactions on Neural Networks and Learning Systems 34 (12): 10473–86. https://doi.org/10.1109/TNNLS.2022.3167409.
阮元 校刻. 1980. 十三经注疏·周易正义(王弼、韩康伯注,孔颖达疏). 《系辞上》《系辞下》;影印清嘉庆刊本,附校勘记. 中华书局.

Fan, Y. (2026). Information Geometry, the Fisher Information Metric and Natural-Gradient Optimisation on Statistical Manifolds: From the Cramér–Rao Bound and Jeffreys's Prior to Singular Learning Theory, Read Beside Classical Chinese Thought on Change and Coordinates [信息几何、费希尔信息度量与自然梯度优化的统计流形] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23836268 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).