《信息几何、费希尔信息度量与自然梯度优化的统计流形》各章定量结论

一族概率分布可以看作一个空间:两个相近的分布之间有多「远」?换一套参数来描述同一族分布,这个距离会不会变?优化算法沿着哪个方向下降才不依赖坐标的选择?本书用数理统计、信息论与优化理论回答这些问题,并把作者框架中的流行说法逐条核对、限定或改正。依次讨论:费希尔信息作为黎曼度量与 KL 散度的二阶项(程序逐级验证二阶展开;KL 不对称,也不满足三角不等式,连它的平方根也不满足),以及钦佐夫(Čencov)唯一性定理的准确条件(有限样本空间、在马尔可夫嵌入下不变、至多差一个常数;艾等人 2015 年推广到一般样本空间),统计量只能丢失而不能增加费希尔信息;克拉美—拉奥下界(拉奥 1945、克拉美 1946,弗雷歇与达尔穆瓦也独立得到)及「下界总能达到」之误:有限样本中只有指数族的均值参数可以被无偏估计恰好达到,有偏的 SS/(n+1) 与詹姆斯—斯坦估计量的均方误差低于下界,均匀分布端点的估计误差按 1/n² 下降,霍奇斯超有效估计量在局部付出无界的代价;杰弗里斯先验(1946)的重参数化不变性、它在正态均值与泊松率上不可积、在内曼—斯科特问题中后验集中在真值的一半、二项与负二项抽样下给出不同的后验(违反似然原理),以及它的区间在二项比例上有良好的频率覆盖;甘利俊一(Amari)1998 年的自然梯度:不变性只对连续时间的流严格成立,离散步长下不同坐标的结果相差 O(η),步长为 1…

DOI 10.5281/zenodo.23836268 · 阅读本章所在专著 · English version

模型示意算例,非实时报价