《信息几何、费希尔信息度量与自然梯度优化的统计流形》各章定量结论
一族概率分布可以看作一个空间:两个相近的分布之间有多「远」?换一套参数来描述同一族分布,这个距离会不会变?优化算法沿着哪个方向下降才不依赖坐标的选择?本书用数理统计、信息论与优化理论回答这些问题,并把作者框架中的流行说法逐条核对、限定或改正。依次讨论:费希尔信息作为黎曼度量与 KL 散度的二阶项(程序逐级验证二阶展开;KL 不对称,也不满足三角不等式,连它的平方根也不满足),以及钦佐夫(Čencov)唯一性定理的准确条件(有限样本空间、在马尔可夫嵌入下不变、至多差一个常数;艾等人 2015 年推广到一般样本空间),统计量只能丢失而不能增加费希尔信息;克拉美—拉奥下界(拉奥 1945、克拉美 1946,弗雷歇与达尔穆瓦也独立得到)及「下界总能达到」之误:有限样本中只有指数族的均值参数可以被无偏估计恰好达到,有偏的 SS/(n+1) 与詹姆斯—斯坦估计量的均方误差低于下界,均匀分布端点的估计误差按 1/n² 下降,霍奇斯超有效估计量在局部付出无界的代价;杰弗里斯先验(1946)的重参数化不变性、它在正态均值与泊松率上不可积、在内曼—斯科特问题中后验集中在真值的一半、二项与负二项抽样下给出不同的后验(违反似然原理),以及它的区间在二项比例上有良好的频率覆盖;甘利俊一(Amari)1998 年的自然梯度:不变性只对连续时间的流严格成立,离散步长下不同坐标的结果相差 O(η),步长为 1…
DOI 10.5281/zenodo.23836268 · 阅读本章所在专著 · English version
- 第 1 章 · 费希尔信息:统计流形上的度量
费希尔信息 $g_{ij} = E[\partial_i\ell\,\partial_j\ell]$ 按张量规律变换,是参数空间上与坐标无关的度量,也是 KL 散度的二阶项(程序中 $dp = 0.001$ 时比值为 0.9987)。KL 散度不对称、不满足三角不等式,平方根也不满足;费希尔—拉奥测地距离才是距离。钦佐夫定理说明在有限样本空间上,对马尔可夫嵌入不变的度量只有费希尔度量(至多差常数),这一结论已推广到一般样本空间;「唯一… - 第 2 章 · 克拉美—拉奥下界:达到、达不到与「低于」
克拉美—拉奥下界(拉奥 1945、克拉美 1946,弗雷歇、达尔穆瓦独立得到)在正则条件下约束无偏估计的方差。「总能达到」是错的:恰好达到只发生在指数族的均值参数上(伯努利比值 1.000);指数率参数的最好无偏估计在 $n = 10$ 时是下界的 1.250 倍;有偏的 $SS/(n+1)$ 为 0.909 倍,詹姆斯—斯坦在 $d = 10$、$\theta = 0$ 时把总风险从约 10 降到约 2;均匀分布端点的「下界」不适用… - 第 3 章 · 杰弗里斯先验:不变性及其代价
杰弗里斯先验 $\sqrt{\det G}$ 是费希尔—拉奥体积元,因而在任何坐标下应用都得到同一个分布(程序中两种坐标的区间概率都是 0.164177)。但它不是「无信息、总是合适」的:正态均值与泊松率的规则先验不可积;多参数的联合形式在内曼—斯科特问题中使后验以越来越小的标准差集中在真值的一半(0.4934),杰弗里斯本人建议的独立形式没有这个问题(0.9870);它依赖抽样设计,二项与负二项给出不同的后验,违反似然原理。另一方面… - 第 4 章 · 自然梯度:不变性、速度与近似
自然梯度 $G^{-1}\nabla L$ 是费希尔度量下的最陡下降方向。它的不变性对连续时间的流严格成立,对离散步只在一阶成立:程序中步长 0.004 时坐标间差距为 $2.5\times10{-7}$,步长 1 时达到 $2.1\times10^6$。作者框架所说的「证明」应改为:费希尔等于黑塞矩阵时自然梯度就是牛顿法。在病态逻辑回归上它的步数最少,但按计算量在条件良好时不如梯度下降;在一个小网络上,精确自然梯度步数最少而计算量约… - 第 5 章 · 对偶平坦:指数族、勒让德对偶与广义勾股定理
指数族有自然参数 $\theta$ 与期望参数 $\eta$ 两套坐标,由凸函数 $\psi$ 与其勒让德对偶 $\phi$(负熵)联系;费希尔度量是 $\psi$ 的黑塞矩阵,KL 散度是 $\psi$ 的布雷格曼散度(程序中都是 0.360388)。e-测地线是几何混合,m-测地线是算术混合;α-联络把两者连成一族。广义勾股定理在「m-投影到 e-平坦子流形」(或其对偶)时成立,散度方向不能颠倒:程序中正确方向逐位相等,颠倒后 1… - 第 6 章 · 奇异学习理论:当费希尔矩阵退化
当参数不可辨识、费希尔矩阵退化时,BIC 的 $\tfrac d2\log n$ 不对:贝叶斯自由能的主项是 $\lambda\log n - (m-1)\log\log n$,$\lambda \le d/2$ 是实对数典范阈。程序直接积分得到 $y = abx$ 的 $\lambda \approx 1/2$(BIC 用 1),$y = a^2x$ 的 $\lambda = 1/4$;$\log\log n$ 项使有限 $n$ 下… - 第 8 章 · 实践与预注册检验
第八章给出四步核查表,以及一项预注册的计算基准试验:由独立第三方冻结一组分层的合成任务,比较自然梯度(精确或 K-FAC)与 Adam 达到目标损失的墙钟时间,唯一主要结局为二者时间比的以 2 为底的对数在任务上的均值,最小关注效应 log₂1.25,90% 把握度需 393 个配对任务、计入无效任务后计划 470 个,判定规则写成代码。书中以标注框区分已发表的证据、可运行的 Python 计算(16 段程序)、原典与作者的模型和假说…
模型示意算例,非实时报价