5D Library › 信息几何、费希尔信息度量与自然梯度优化的统计流形 · English
第一章 费希尔信息:统计流形上的度量
从得分函数到度量
设一族概率分布 由参数 描述,记对数似然为 。它对参数的导数 称为得分函数,在正则条件下(可以在积分号下求导、支撑不依赖参数)期望为零。费希尔在 1922 年与 1925 年的两篇论文中把得分的方差作为一个样本所含「信息」的度量 (Fisher 1922, 1925):
第二个等号同样依赖正则条件。 个独立观测的信息是一个观测的 倍。伯努利分布 的信息为 ;正态分布 在坐标 下的信息矩阵为 。
这个矩阵为什么可以看作「度量」?关键是它在换坐标时的变化方式。若 是另一套参数,雅可比矩阵 ,则由链式法则
这正是黎曼度量张量的变换规律:同一个切向量(分布的一个「无穷小变化」)在两套坐标下的长度 相同。所以费希尔信息定义了参数空间上的一个与坐标无关的长度概念,一族分布连同这个度量称为统计流形。这一观点由拉奥 1945 年首先提出 (Rao 1945),后来由甘利俊一、钦佐夫等人系统发展为信息几何 (Amari 1985, 2016; Amari and Nagaoka 2000)。入门性的综述可参看尼尔森 (Nielsen 2020) 与利等人面向心理学读者的教程 (Ly et al. 2017)。
注
关于「坐标」的用语。 本书说「坐标」「参数化」「图卡(chart)」都是指同一件事:给一族分布中的每个成员编一个号码。换坐标不改变分布本身,只改变编号。凡是依赖编号、而不依赖分布本身的量,都不是这族分布的「几何性质」。
KL 散度的二阶展开
库尔贝克与莱布勒 1951 年定义了两个分布之间的「辨别信息」(Kullback and Leibler 1951),今称 KL 散度:
等号当且仅当 (几乎处处)。把 取为同一族中邻近的成员 ,在 处作泰勒展开:零阶项为零;一阶项是得分的期望,也为零;二阶项是
所以费希尔度量是 KL 散度在对角线附近的「曲率」。这也说明 KL 散度本身不依赖坐标(它只依赖两个分布),而它的二阶近似恰好是一个按张量规律变换的二次型。
推导
# The Fisher metric as the second-order term of the KL divergence, and why KL is not a
# distance. D(t || t + dt) = 1/2 dt' G(t) dt + O(|dt|^3): checked for a Bernoulli model
# and for a normal model in (mu, sigma); then asymmetry and a failed triangle inequality,
# against the Fisher-Rao geodesic distance 2 arccos(sum sqrt(p q)), which is a metric.
import math
def kl_bern(p, q):
return p * math.log(p / q) + (1 - p) * math.log((1 - p) / (1 - q))
def kl_norm(m1, s1, m2, s2): # D(N(m1, s1^2) || N(m2, s2^2))
return math.log(s2 / s1) + (s1 ** 2 + (m1 - m2) ** 2) / (2 * s2 ** 2) - 0.5
def fr_bern(p, q): # Fisher-Rao distance on Bernoulli
return 2 * math.acos(math.sqrt(p * q) + math.sqrt((1 - p) * (1 - q)))
p = 0.3; g = 1 / (p * (1 - p))
print(f"Bernoulli p = {p}: Fisher information G = 1/(p(1-p)) = {g:.4f}")
print(" dp D(p||p+dp) 1/2 G dp^2 ratio D(p+dp||p)")
for dp in (0.1, 0.03, 0.01, 0.001):
d, q = kl_bern(p, p + dp), 0.5 * g * dp * dp
print(f" {dp:6.3f} {d:12.4e} {q:12.4e} {d / q:7.4f} {kl_bern(p + dp, p):12.4e}")
s = 1.0; G = ((1 / s ** 2, 0.0), (0.0, 2 / s ** 2))
print("normal (mu, sigma) at (0, 1): G = diag(1/sigma^2, 2/sigma^2)")
print(" (dmu, dsigma) D 1/2 dt'G dt ratio")
for dm, ds in ((0.2, 0.2), (0.05, -0.05), (0.01, 0.02), (0.001, 0.001)):
d = kl_norm(0.0, s, dm, s + ds)
q = 0.5 * (G[0][0] * dm * dm + G[1][1] * ds * ds)
print(f" ({dm:6.3f},{ds:6.3f}) {d:12.4e} {q:12.4e} {d / q:7.4f}")
a, b, c = 0.1, 0.5, 0.9
ab, bc, ac = kl_bern(a, b), kl_bern(b, c), kl_bern(a, c)
print(f"triangle test on Bernoulli a = {a}, b = {b}, c = {c}:")
print(f" KL: D(a||c) = {ac:.4f} > D(a||b) + D(b||c) = {ab:.4f} + {bc:.4f}"
f" = {ab + bc:.4f}")
print(f" sqrt KL: {math.sqrt(ac):.4f} vs {math.sqrt(ab):.4f} + {math.sqrt(bc):.4f}"
f" = {math.sqrt(ab) + math.sqrt(bc):.4f}")
fab, fbc, fac = fr_bern(a, b), fr_bern(b, c), fr_bern(a, c)
print(f" Fisher-Rao: d(a,c) = {fac:.4f} = d(a,b) + d(b,c) = {fab + fbc:.4f}"
" (b lies on the geodesic)")
print(f"asymmetry: D(0.1||0.5) = {kl_bern(0.1, 0.5):.4f}, D(0.5||0.1) ="
f" {kl_bern(0.5, 0.1):.4f}")
worst = 0.0
for i in range(1, 40): # random-free grid check of the metric
for j in range(1, 40):
for k in range(1, 40):
x, y, z = i / 40, j / 40, k / 40
worst = max(worst, fr_bern(x, z) - fr_bern(x, y) - fr_bern(y, z))
print("Fisher-Rao triangle check on a 39^3 grid: max excess "
+ ("< 1e-12 (zero up to rounding)" if worst < 1e-12 else f"{worst:.1e}"))
# Bernoulli p = 0.3: Fisher information G = 1/(p(1-p)) = 4.7619
# dp D(p||p+dp) 1/2 G dp^2 ratio D(p+dp||p)
# 0.100 2.1601e-02 2.3810e-02 0.9072 2.2582e-02
# 0.030 2.0688e-03 2.1429e-03 0.9654 2.1046e-03
# 0.010 2.3517e-04 2.3810e-04 0.9877 2.3662e-04
# 0.001 2.3779e-06 2.3810e-06 0.9987 2.3794e-06
# normal (mu, sigma) at (0, 1): G = diag(1/sigma^2, 2/sigma^2)
# (dmu, dsigma) D 1/2 dt'G dt ratio
# ( 0.200, 0.200) 4.3433e-02 6.0000e-02 0.7239
# ( 0.050,-0.050) 4.1084e-03 3.7500e-03 1.0956
# ( 0.010, 0.020) 4.3508e-04 4.5000e-04 0.9668
# ( 0.001, 0.001) 1.4973e-06 1.5000e-06 0.9982
# triangle test on Bernoulli a = 0.1, b = 0.5, c = 0.9:
# KL: D(a||c) = 1.7578 > D(a||b) + D(b||c) = 0.3681 + 0.5108 = 0.8789
# sqrt KL: 1.3258 vs 0.6067 + 0.7147 = 1.3214
# Fisher-Rao: d(a,c) = 1.8546 = d(a,b) + d(b,c) = 1.8546 (b lies on the geodesic)
# asymmetry: D(0.1||0.5) = 0.3681, D(0.5||0.1) = 0.5108
# Fisher-Rao triangle check on a 39^3 grid: max excess < 1e-12 (zero up to rounding)程序验证了这个展开。伯努利分布在 处的信息为 4.7619; 时 KL 与二次近似之比为 0.9072, 时为 0.9877, 时为 0.9987,误差与 同阶,说明三阶项不可忽略时近似就不准。正态模型中, 时比值只有 0.7239,到 时为 0.9982。
程序的后半部分说明 KL 散度为什么不是距离。第一,它不对称:,;第一列与最后一列也显示 与 不同,只是在二阶上一致。第二,它不满足三角不等式:取 、、,,比 大一倍。有人以为取平方根就能得到距离,程序显示 也不满足:1.3258 大于 1.3214。
真正的距离是把度量沿曲线积分、再取最短路径得到的测地距离。对离散分布,变换 把概率单纯形映到半径为 2 的球面的一部分,费希尔度量恰好变成球面上的欧氏度量,于是费希尔—拉奥距离有闭式 。拉奥 1945 年的论文已经提出用这种测地距离度量两个总体的差别 (Rao 1945)。程序显示: 三点在同一条测地线上,;在 个网格点上检查三角不等式,没有一处违反。
注
对数评分与 KL 散度。 第 26 本讨论过严格恰当评分规则。对数评分的期望损失与 KL 散度只差一个与预报无关的熵项,所以「用对数评分评价预报」等价于「用 KL 散度度量预报分布与真实分布的差别」。这里只指出这一联系,不重复那里的推导。
钦佐夫定理:在什么意义上「唯一」
既然参数空间上可以定义很多种度量(比如直接用欧氏距离),为什么偏偏是费希尔度量?钦佐夫给出的回答是一个不变性要求 (Čencov 1982)。设样本空间有限,分布是单纯形中的点。考虑把一个类别按固定比例「细分」为几个子类别(数学上称为马尔可夫嵌入,或同余嵌入):细分前后,统计推断的内容不变——知道细分后的结果,按固定比例合并即可得到原来的结果,反之亦然,所以细分是一个充分的变换。钦佐夫证明:要求度量在所有这样的嵌入下保持不变,则它只能是费希尔度量的常数倍。
证据
定理的条件。 钦佐夫的原始结果(俄文原著 1972 年,英译本 1982 年)针对有限样本空间与概率单纯形 (Čencov 1982)。坎贝尔 1986 年把它推广到非归一化的正测度锥 (Campbell 1986)。艾、约斯特、黎与施瓦赫霍费尔 2015 年引入「参数化测度模型」,在一般(可以是无穷的)样本空间上证明:在充分统计量下不变的二阶张量与三阶张量分别只能是费希尔度量与甘利—钦佐夫张量的常数倍,并由马尔可夫态射的分解得到费希尔信息的单调性 (Ay et al. 2015),系统的处理见他们的专著 (Ay et al. 2017)。鲍尔、布鲁韦里斯与米霍尔 2016 年在紧致、无边界流形上光滑正密度的空间中证明,在所有微分同胚作用下不变的黎曼度量也只有费希尔—拉奥度量的常数倍(要求样本流形的维数至少为 2)(Bauer et al. 2016)。所以「唯一」总是相对于一个写明的不变性要求与一个写明的空间而言。
下面的程序在一个三类别分布上手工检查这几条性质:一个切向量的费希尔长度在任何细分下都不变,欧氏长度则会变;合并类别(一个统计量)只能使费希尔长度变小,只有当合并在这个方向上是充分的时候才相等;最后,对 10 次伯努利试验,计算几种统计量各自保留了多少信息。
推导
# Chentsov's theorem in a finite sample space, checked by hand. A tangent vector v at a
# distribution p on {1..k} (sum v = 0) has Fisher length sum v_i^2 / p_i. (1) A congruent
# Markov embedding (split category i into parts with fixed ratios) leaves it unchanged;
# the Euclidean length sum v_i^2 does not. (2) Merging categories (a statistic) can only
# shrink it - the information inequality - with equality iff the merge is sufficient
# along v. (3) For n Bernoulli trials, the count keeps all n/(p(1-p)); other statistics
# keep less.
import math
def fisher(p, v):
return sum(x * x / q for x, q in zip(v, p))
def euclid(p, v):
return sum(x * x for x in v)
def split(p, v, i, ratios): # congruent embedding of category i
P = p[:i] + [p[i] * r for r in ratios] + p[i + 1:]
V = v[:i] + [v[i] * r for r in ratios] + v[i + 1:]
return P, V
def merge(p, v, groups):
return [sum(p[j] for j in g) for g in groups], [sum(v[j] for j in g) for g in groups]
p = [0.2, 0.3, 0.5]; v = [0.1, -0.04, -0.06]
print(f"p = {p}, v = {v}")
print(f" original: Fisher {fisher(p, v):.6f} Euclidean {euclid(p, v):.6f}")
for i, r in ((0, (0.5, 0.5)), (2, (0.1, 0.3, 0.6)), (1, (0.9, 0.1))):
P, V = split(p, v, i, r)
print(f" split cat {i + 1} as {r}: Fisher {fisher(P, V):.6f}"
f" Euclidean {euclid(P, V):.6f}")
for g in (((0, 1), (2,)), ((0,), (1, 2)), ((0, 2), (1,))):
P, V = merge(p, v, g)
print(f" merge {g}: Fisher {fisher(P, V):.6f} (<= {fisher(p, v):.6f})")
v2 = [0.15, -0.15 * 0.3 / 0.8, -0.15 * 0.5 / 0.8] # proportional to p on {2,3}
P, V = merge(p, v2, ((0,), (1, 2)))
print(f" v' = ({v2[0]:.3f}, {v2[1]:.4f}, {v2[2]:.4f}) is proportional to p on {{2,3}}:")
print(f" merge ((0,), (1, 2)): Fisher {fisher(P, V):.6f} = {fisher(p, v2):.6f}"
" (merge is sufficient along v')")
n, pr = 10, 0.3
full = n / (pr * (1 - pr))
def stat_info(pmf_of_stat, h=1e-5): # Fisher information of a statistic
a, b = pmf_of_stat(pr + h), pmf_of_stat(pr - h)
c = pmf_of_stat(pr)
return sum(((x - y) / (2 * h)) ** 2 / z for x, y, z in zip(a, b, c) if z > 0)
count = lambda q: [math.comb(n, k) * q ** k * (1 - q) ** (n - k) for k in range(n + 1)]
first = lambda q: [1 - q, q]
atleast3 = lambda q: [sum(count(q)[:3]), sum(count(q)[3:])]
parity = lambda q: [sum(count(q)[0::2]), sum(count(q)[1::2])]
print(f"n = {n} Bernoulli({pr}) trials: full-sample information {full:.4f}")
for lab, f in (("count of successes (sufficient)", count), ("first trial only", first),
("indicator count >= 3", atleast3), ("parity of count", parity)):
i = stat_info(f)
print(f" {lab:32s} {i:10.4g} ({i / full:7.2%})")
# p = [0.2, 0.3, 0.5], v = [0.1, -0.04, -0.06]
# original: Fisher 0.062533 Euclidean 0.015200
# split cat 1 as (0.5, 0.5): Fisher 0.062533 Euclidean 0.010200
# split cat 3 as (0.1, 0.3, 0.6): Fisher 0.062533 Euclidean 0.013256
# split cat 2 as (0.9, 0.1): Fisher 0.062533 Euclidean 0.014912
# merge ((0, 1), (2,)): Fisher 0.014400 (<= 0.062533)
# merge ((0,), (1, 2)): Fisher 0.062500 (<= 0.062533)
# merge ((0, 2), (1,)): Fisher 0.007619 (<= 0.062533)
# v' = (0.150, -0.0562, -0.0937) is proportional to p on {2,3}:
# merge ((0,), (1, 2)): Fisher 0.140625 = 0.140625 (merge is sufficient along v')
# n = 10 Bernoulli(0.3) trials: full-sample information 47.6190
# count of successes (sufficient) 47.62 (100.00%)
# first trial only 4.762 ( 10.00%)
# indicator count >= 3 30.14 ( 63.28%)
# parity of count 2.749e-05 ( 0.00%)切向量 在 处的费希尔长度平方为 0.062533,三种细分后仍是 0.062533;欧氏长度平方从 0.015200 变成 0.010200、0.013256 与 0.014912,取决于细分的方式。欧氏度量不满足钦佐夫的不变性要求,这就是它被排除的原因:同一个统计问题,仅仅因为记录数据时把一个类别拆成了两个,「距离」就变了。
合并类别得到的费希尔长度分别为 0.014400、0.062500 与 0.007619,都不超过原来的 0.062533。这是信息不等式(数据处理不等式在费希尔信息上的形式):任何统计量都不能增加信息。第二种合并几乎不丢信息,因为 在被合并的两个类别上几乎与 成比例;把 换成恰好成比例的 ,合并前后都是 0.140625,丢失为零。这个例子说明「充分」是相对于方向而言的:同一个合并,对某些参数变化是充分的,对另一些则不是。
10 次伯努利试验的全部信息是 47.62,成功次数这一充分统计量保留了 100%;只看第一次试验保留 10%;只看「成功次数是否至少为 3」保留 63.28%;只看成功次数的奇偶,保留的信息只有 ,几乎为零。最后一个例子提醒我们,一个统计量是否「有用」与它看起来是否「复杂」无关,取决于它的分布对参数有多敏感。
度量能做什么,不能做什么
费希尔度量为后面几章提供了共同的语言:第二章的克拉美—拉奥下界是度量矩阵的逆;第三章的杰弗里斯先验是度量诱导的体积元;第四章的自然梯度是用度量把梯度这个「余向量」换成切向量;第五章的对偶联络与第六章的奇异性都建立在它之上。但它是一个局部的、二阶的量。第一,它描述的是分布在一个点附近的可区分程度,离得远时 KL 散度、测地距离与二次近似可能相差很大(程序中比值 0.7239 的例子)。第二,它依赖模型:同一组数据,在不同的模型族中,费希尔信息完全不同;它刻画的是「如果模型正确,参数能被估计得多准」,不是模型是否正确。第三,当模型不可辨识时,度量矩阵在某些点退化为奇异矩阵,此时它不再是黎曼度量,这正是第六章的主题。
假说 · 尚未验证 · 以 KL 步长设定学习率
作者的假说(尚未确立): 在中等规模的神经网络训练中,按每一步引起的模型输出分布的 KL 变化(而不是参数更新的欧氏长度)来设定步长上限,可以显著降低最终损失对网络参数化方式(例如权重是否归一化、激活函数的尺度)的敏感性。什么样的结果能证明它是错的: 在事先登记的一组参数化变体与任务上,按 KL 步长设定与按参数步长设定相比,最终验证损失在不同参数化之间的方差没有降低(置信区间包含零或显示增加)。这一检验需要实际训练,本书不做;第四章的离散步长分析说明,即使按 KL 设定步长,不变性也只在一阶上成立。
本章小结
费希尔信息 按张量规律变换,是参数空间上与坐标无关的度量,也是 KL 散度的二阶项(程序中 时比值为 0.9987)。KL 散度不对称、不满足三角不等式,平方根也不满足;费希尔—拉奥测地距离才是距离。钦佐夫定理说明在有限样本空间上,对马尔可夫嵌入不变的度量只有费希尔度量(至多差常数),这一结论已推广到一般样本空间;「唯一」是相对于这一不变性要求而言的。统计量只能丢失费希尔信息,充分统计量不丢失。
参考文献
Fan, Y. (2026). Information Geometry, the Fisher Information Metric and Natural-Gradient Optimisation on Statistical Manifolds: From the Cramér–Rao Bound and Jeffreys's Prior to Singular Learning Theory, Read Beside Classical Chinese Thought on Change and Coordinates [信息几何、费希尔信息度量与自然梯度优化的统计流形] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23836268 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).