5D Library › 信息几何、费希尔信息度量与自然梯度优化的统计流形 · English

第八章 实践与预注册检验

注

本章的核查表与试验方案用于研究与自我检查,不是工程选型建议。 核查表不能告诉你该用哪一个优化器或哪一种先验,只能帮助你在下结论之前把假设写清楚。书中的任务、损失与计时都是合成或模拟的;任何真实系统中的表现都可能与之不同。

第一部分 四步核查表

第一至六章可以浓缩为一份四步核查表,用于审视一个涉及费希尔信息、先验或优化器的说法,例如「新方法收敛快三倍」「这个先验是无信息的」「这个估计已经达到理论极限」。表中的问题是使用者应当事先书面回答的,不是推荐的做法。

  1. 坐标。 结论是否依赖参数化?换一套等价的参数(例如 σ\sigma 换成 log⁡σ\log\sigma、权重换成归一化的权重),步长、先验、置信区间或排名是否改变?如果改变,说法中的「更好」是相对于哪一套坐标而言的(第一、三、四章)?
  2. 曲率。 用的是哪一种矩阵:费希尔、经验费希尔、高斯—牛顿、黑塞,还是某种近似(对角、K-FAC)?它在所讨论的区域是否可逆?经验费希尔的尺度是否依赖残差与噪声设定(第四、六章)?
  3. 代价。 比较是按步数、梯度评估次数还是墙钟时间?两种方法的调参预算是否相同?目标是事先固定的还是事后选的(第四章)?
  4. 正则性与渐近。 引用的下界、BIC、拉普拉斯近似或渐近正态性所需的条件是否满足:支撑是否依赖参数?模型是否可辨识、费希尔矩阵是否正定?样本量是否处在渐近区间(第二、六章)?

一个示例。 设想一份报告说:「在我们的逻辑回归任务上,自然梯度只用 3 步就收敛,梯度下降需要 600 步,因此自然梯度快 200 倍。」按核查表:第一步,自然梯度的步数确实不依赖坐标(在小步长的意义上),但梯度下降的步数依赖特征的尺度,报告应说明特征是否标准化;第二步,逻辑回归中费希尔等于黑塞,这里的「自然梯度」就是牛顿法,结论不能推广到费希尔不等于黑塞的模型;第三步,按第四章的折算,d=3d = 3 时自然梯度每步约 4 个单位,「200 倍」按计算量约为 50 倍,而在 κ=1\kappa = 1 时梯度下降反而更省;第四步,这里没有渐近问题,但如果报告进一步说「因此达到了克拉美—拉奥下界」,就要问被估计的是什么参数、样本量多大。四步之后,较准确的说法是:「在这个低维、病态、典范连接的问题上,牛顿法按计算量比梯度下降快约一个数量级以上;这不说明自然梯度在一般问题上更快。」

第二部分 预注册的计算基准试验

问题与设计选择

在一组由独立第三方生成并冻结的分层合成优化任务上,自然梯度方法(低维广义线性模型用精确的阻尼费希尔矩阵,小型神经网络用 K-FAC)达到事先规定的目标损失所需的墙钟时间,是否短于 Adam?试验以最小关注效应(时间比 1.25,即 log⁡21.25\log_2 1.25)设计 90% 的把握度;判定规则另外区分「较快」与「至少快出最小关注效应」两种结论。

作者的框架建议做这样一项基准比较。本书照写比较组,并作三点设计选择。第一,比较墙钟时间而不是步数:第四章已经显示,自然梯度步数最少,计算量却未必最少;按步数比较会系统地偏袒每步代价大的方法。梯度评估次数作次要结局。第二,只设一项主要结局:每个任务上两种方法时间之比的以 2 为底的对数,在任务总体上取均值。第三,由独立第三方实施:任务生成器、随机种子、预算、参考硬件与软件镜像都由与作者无关的研究者准备并封存;作者只提交两种方法的实现与调参搜索空间。

试验不涉及人体受试者,所以「不从作者的社群、学员或客户中招募」在这里体现为:任务、硬件与分析人员均与作者的企业无关。

方案

要素 规定
任务集(分层) 第三方按登记的生成器分 5 层、每层等量抽取:(1) 逻辑回归 d=10d = 10;(2) 逻辑回归 d=100d = 100;(3) 逻辑回归 d=1000d = 1000;(4) 10 类软最大回归 d=100d = 100;(5) 两层隐藏层的小型多层感知器(参数不超过 5 万,教师网络生成的合成数据)。广义线性模型各层中特征协方差的条件数在 [1,104][1, 10^4] 上对数均匀,一半随机旋转。每个任务配一个独立的验证集。生成器代码公开,种子封存至结果锁定
目标损失与预算 每个任务的目标由第三方在试验前用一个与两组都无关的参考优化器(长时间运行的 L-BFGS)确定:参考最终训练损失加上初始差距的 1%。预算 BB 为该参考优化器在同一参考机器上达到目标所用墙钟时间的 20 倍。目标值与 BB 与任务一起封存
两种方法 X:自然梯度(广义线性模型用精确费希尔加阻尼,网络用 K-FAC (Martens and Grosse 2015));Y:Adam (Kingma and Ba 2015)。批量:广义线性模型两组都用全批量,多层感知器两组都用固定批量 256。两者都按同一协议调参:在另外 50 个调参任务(按同样的 5 层抽取,不进入评估)上,各自从登记的搜索空间中抽取 20 组超参数,选在调参任务上中位数时间最短的一组,然后冻结
硬件与计时 独占的参考机器,固定处理器频率(关闭睿频,固定调频策略),两组的 BLAS/OpenMP 线程数都设为 1,登记的容器镜像;计时从第一个优化步开始,此前一次不计时的预热步(含编译与内存分配)单独记录、不计入;两组的运行顺序随机化并交替进行,3 次重复也交替进行,取中位数。第三方在预试中报告重复之间计时的变异系数
配对与设盲 每个任务上两种方法使用同一数据与同一初始参数。运行行为(内存、曲率因子的计算)使运行人员无法对方法设盲,所以结局由程序自动记录,不经人工判读;两份实现以哈希值登记并由第三方随机标为「甲 / 乙」,分析人员在结果锁定前设盲
无效与失败 只有基础设施故障(硬件、容器、计时器)使一个任务无效。方法自身引起的发散、数值溢出或 NaN,以及在预算 BB 内未达到目标,一律记为 2B2B,计入主要结局
主要结局 D=log⁡2(TX/TY)D = \log_2(T_X / T_Y),TT 为在参考机器上达到目标损失的墙钟时间(3 次重复的中位数,失败记为 2B2B)。估计量为有效任务上 DD 的均值(各层等量,故等于各层均值的等权平均),95% 置信区间按 tt 分布计算
预先规定的限定语 两种方法未达到目标的任务比例相差 10 个百分点以上(含 10)时,结论后附注哪一方失败更多
次要结局 预先规定的分层估计:5 层各自的 DD 均值与区间;梯度评估次数之比;失败率;验证集上的最终损失;峰值内存;按条件数分层的 DD(第四章的假说);DD 的中位数;均为描述性或探索性分析

主要结局只设一项。选时间比的对数而不是时间差,是因为不同任务的时间相差几个数量级,比值更可比,对数使「快一倍」与「慢一倍」对称;取均值而不是中位数,是为了能用标准的样本量公式,中位数作为稳健性检查。失败记为 2B2B 是一个事先规定的惩罚,它使失败计入主要结局,而不是被删除;BB 与任务一起封存,所以惩罚的大小事先确定。只把基础设施故障算作无效,是为了防止 15% 的无效上限吸收某一方方法本身的失败(第四章中精确自然梯度在步长 1 时发散,K-FAC 也是如此)。

防止数据窥探

只有一组预先冻结的超参数与一项主要结局,作者不在评估任务上调参;任务生成器、分层与各层任务数、目标损失与预算的确定程序、两份实现、调参协议、计时规程与分析代码在运行之前公开登记,代码的哈希值随方案一起登记 (Nosek et al. 2018);全部运行与分析由第三方执行;次要与探索性结果明确标注,不能用来替代主要结论。达尔等人的 AlgoPerf 基准在调参协议与「达到目标的时间」上采用了类似的做法 (Dahl et al. 2023)。第 33 本讨论过这些做法的统计原理。

样本量

样本量需要对 DD 在任务之间的标准差作出假设。本书用一个试点环境来设定它:第四章逻辑回归的缩小版本(n=40n = 40,d=4d = 4,40 个任务,条件数在 [1,104][1, 10^4] 上对数均匀并随机旋转),「时间」按第四章的规则折算为梯度评估单位。这是作者的玩具模型,不是试验将要使用的任务集。

推导

# Sample size for the Chapter 8 pre-registered benchmark. Unit = a synthetic task drawn
# by the third party; both optimisers run on it (paired). Primary outcome per task:
# D = log2(time to target, natural gradient / time to target, Adam). Estimand: mean D
# over the task population (log2 of the geometric-mean time ratio). SESOI log2(1.25).
# PILOT (planning assumption only, not the trial suite): 40 logistic-regression tasks,
# n = 40, d = 4, kappa log-uniform on [1, 10^4], random rotation; "time" = gradient-
# evaluation units (Newton/NG step = 1 + d + d^2/(3n)); Adam: best of 3 steps, cap 500.
# Last part: the registered blinded re-estimation rule (sd of D from the first 25 % of
# tasks; sd is unchanged by swapping the arm labels; n may only go up, cap 2,000).
import math, random, statistics

NZ = statistics.NormalDist(); Z = NZ.inv_cdf

def task(rng, n=40, d=4):
    kappa = 10 ** rng.uniform(0, 4); ev = [kappa ** (-i / (d - 1)) for i in range(d)]
    Q = []
    while len(Q) < d:
        v = [rng.gauss(0, 1) for _ in range(d)]
        for q in Q:
            c = sum(a * b for a, b in zip(v, q)); v = [a - c * b for a, b in zip(v, q)]
        s = math.sqrt(sum(a * a for a in v)); Q.append([a / s for a in v])
    X = []
    for _ in range(n):
        z = [rng.gauss(0, 1) * math.sqrt(e) for e in ev]
        X.append([sum(Q[i][j] * z[j] for j in range(d)) for i in range(d)])
    w = [sum(Q[i][j] / math.sqrt(ev[j]) for j in range(d)) / d for i in range(d)]
    y = [int(rng.random() < 1 / (1 + math.exp(-sum(a * b for a, b in zip(w, x)))))
         for x in X]
    return X, y

def lgf(X, y, w, hess=False):
    d, n = len(w), len(X); L, g = 0.0, [0.0] * d; H = [[0.0] * d for _ in range(d)]
    for x, t in zip(X, y):
        z = sum(a * b for a, b in zip(w, x))
        p = 1 / (1 + math.exp(-z)) if z >= 0 else math.exp(z) / (1 + math.exp(z))
        L += math.log1p(math.exp(-abs(z))) + max(z, 0) - t * z
        for i in range(d):
            g[i] += (p - t) * x[i] / n
            if hess:
                for j in range(d):
                    H[i][j] += p * (1 - p) * x[i] * x[j] / n
    return L / n, g, H

def newton(X, y, w):
    L, g, H = lgf(X, y, w, True); d = len(w)
    M = [H[i][:] + [g[i]] for i in range(d)]
    for i in range(d):
        M[i][i] += 1e-8
    for c in range(d):
        for r in range(c + 1, d):
            f = M[r][c] / M[c][c]; M[r] = [a - f * b for a, b in zip(M[r], M[c])]
    s = [0.0] * d
    for r in range(d - 1, -1, -1):
        s[r] = (M[r][d] - sum(M[r][k] * s[k] for k in range(r + 1, d))) / M[r][r]
    return [a - b for a, b in zip(w, s)], L

def pilot_D(seed):
    rng = random.Random(seed); X, y = task(rng); d, n = len(X[0]), len(X)
    w = [0.0] * d
    for _ in range(30):
        w, _ = newton(X, y, w)
    target = lgf(X, y, w)[0] + 1e-3; w = [0.0] * d; k_ng = 0
    while lgf(X, y, w)[0] > target:
        w, _ = newton(X, y, w); k_ng += 1
    best = None
    for lr in (0.03, 0.1, 0.3):
        w = [0.0] * d; m = [0.0] * d; v = [0.0] * d
        for k in range(1, 501):
            L, g, _ = lgf(X, y, w)
            if L <= target:
                best = k - 1 if best is None else min(best, k - 1); break
            m = [0.9 * a + 0.1 * b for a, b in zip(m, g)]
            v = [0.999 * a + 0.001 * b * b for a, b in zip(v, g)]
            w = [a - lr * (b / (1 - 0.9 ** k)) / (math.sqrt(c / (1 - 0.999 ** k)) + 1e-8)
                 for a, b, c in zip(w, m, v)]
    t_ng = k_ng * (1 + d + d * d / (3 * n)); t_ad = best if best is not None else 1000
    return math.log2(max(t_ng, 1) / max(t_ad, 1)), best is None

NP = 40
Ds = [pilot_D(s) for s in range(NP)]
D = [a for a, _ in Ds]; sd = statistics.stdev(D)
print(f"pilot ({NP} tasks): mean D {statistics.fmean(D):+.2f} (NG faster if < 0),"
      f" sd {sd:.2f},"
      f"\n   range {min(D):+.2f} to {max(D):+.2f}; Adam missed the target on"
      f" {sum(f for _, f in Ds)} task(s) (time set to 2 x cap)")
delta = math.log2(1.25); za, zb = Z(0.975), Z(0.90)
n0 = ((za + zb) * sd / delta) ** 2 + za * za / 2
n_t = math.ceil(n0)
print(f"SESOI log2(1.25) = {delta:.3f}; 90 % power, two-sided alpha 0.05:"
      f" n = {n0:.1f} -> {n_t} tasks")
rng = random.Random(15); hits = 0; R = 2000
cen = [a - statistics.fmean(D) - delta for a in D]       # true mean D = -SESOI
for _ in range(R):
    s = [rng.choice(cen) for _ in range(n_t)]
    m, se = statistics.fmean(s), statistics.stdev(s) / math.sqrt(n_t)
    hits += m + 1.96 * se < 0                              # "NG faster" shown
print(f"   simulation ({R:,} resampled suites of {n_t}, true mean D = -SESOI):"
      f" power {hits / R:.3f}")
plan = math.ceil(n_t / 0.85 / 10) * 10
print(f"   allow 15 % lost to infrastructure faults: generate {plan}"
      f" ({plan // 5} in each of 5 strata)")
print("sensitivity: tasks needed (before the 15 % allowance)")
SDS = (0.5 * sd, sd, 1.5 * sd, 2 * sd)
print("   sd of D:    " + "  ".join(f"{s:5.2f}" for s in SDS))
need = lambda s: math.ceil(((za + zb) * s / delta) ** 2 + za * za / 2)
print("   n:          " + "  ".join(f"{need(s):5d}" for s in SDS))

def reestimate(sd_blind, n_plan=plan, cap=2000):     # registered rule, never decreases
    n_new = math.ceil(need(sd_blind) / 0.85 / 10) * 10
    return min(cap, max(n_plan, n_new))
print("blinded re-estimation after 25 % of tasks: sd of D -> tasks to generate")
SD2 = (1.5, 2.0, 2.5, 3.0, 4.0)
print("   " + "  ".join(f"{s:.1f} -> {reestimate(s):,}" for s in SD2))
# pilot (40 tasks): mean D -2.78 (NG faster if < 0), sd 1.96,
#    range -6.61 to +0.36; Adam missed the target on 4 task(s) (time set to 2 x cap)
# SESOI log2(1.25) = 0.322; 90 % power, two-sided alpha 0.05: n = 392.5 -> 393 tasks
#    simulation (2,000 resampled suites of 393, true mean D = -SESOI): power 0.906
#    allow 15 % lost to infrastructure faults: generate 470 (94 in each of 5 strata)
# sensitivity: tasks needed (before the 15 % allowance)
#    sd of D:     0.98   1.96   2.94   3.93
#    n:            100    393    881   1565
# blinded re-estimation after 25 % of tasks: sd of D -> tasks to generate
#    1.5 -> 470  2.0 -> 480  2.5 -> 750  3.0 -> 1,080  4.0 -> 1,920

试点中 DD 的均值为 −2.78(自然梯度在这些低维病态任务上按计算量快得多),标准差 1.96,范围从 −6.61 到 +0.36;Adam 在 4 个任务上未在 500 步内达到目标。这些数字是规划假设,不是证据:试点任务只有一个任务族、维数很低,自然梯度的每步代价很小,而且这里的「自然梯度」就是牛顿法。正式任务集包含 d=1000d = 1000 与神经网络,DD 的分布很可能是多峰的(广义线性模型上自然梯度大幅占优、多层感知器上可能相反),标准差可能远大于 1.96;均值也可能接近零甚至为正。样本量只依赖标准差,不依赖试点的均值。

最小关注效应取时间比 1.25,即 log⁡21.25=0.322\log_2 1.25 = 0.322:快不到四分之一,就不值得为实现与维护一个曲率方法付出额外的复杂性。在双侧 α=0.05\alpha = 0.05、90% 把握度下,正态近似(加上 tt 分布的小样本修正)需要 393 个配对任务;从试点的 DD 中重抽、平移到真实均值恰为 −0.322 的 2,000 次模拟中,把握度为 0.906。考虑 15% 的任务因基础设施故障无效,计划生成 470 个任务,5 层各 94 个。敏感性表显示,若标准差只有试点的一半,需要 100 个;若为 1.5 倍,需要 881 个;若为 2 倍,需要 1,565 个。

由于试点的标准差很可能偏小,方案登记一条盲态重估规则:前 25% 的任务(按层等量)完成后,一位不知道「甲 / 乙」对应关系的统计人员只计算 DD 的标准差(交换两组标签只改变 DD 的符号,不改变标准差),不报告均值;按同一公式重算所需任务数并计入 15% 的无效余量,计划只能增加、不能减少,上限 2,000 个,新增任务按层等量补充。程序最后一行列出了这条规则的结果:标准差为 2.0 时生成 480 个,2.5 时 750 个,3.0 时 1,080 个,4.0 时 1,920 个。计算任务的成本不高,所以样本量本身不是瓶颈,瓶颈是事先冻结任务、目标、预算与调参协议。

按第 33 本第六章的结果,「90% 把握度」指的是在真实效应恰好等于最小关注效应时,得出「自然梯度较快」(置信区间上限小于 0)这类结论的概率约为 90%;在这种情况下,最强的结论「至少快出最小关注效应」只有约 2.5% 的机会出现。

判定规则

推导

# Decision rule, fixed before the third party runs the frozen benchmark. Primary outcome
# per task: D = log2(T_NG / T_Adam), T = wall-clock time to the task's target loss on the
# frozen reference machine (median of 3 repeats; a run that misses the target within the
# registered budget B, diverges or returns NaN is given 2B). Estimate: mean D over valid
# tasks, 95 % CI (t interval). SESOI = log2(1.25). Only infrastructure faults (hardware,
# container, timer) make a task invalid. Gates, checked first: more than 15 % of tasks
# lost to infrastructure faults; machine differing from the registered image; arm labels
# revealed to the analysts before the lock -> NOT INTERPRETABLE. Pre-specified
# qualifier: failure rates differing by >= 10 points.
import math

SESOI = math.log2(1.25)

def verdict(d, lo, hi, fail_ng, fail_adam, invalid=0.02, image_ok=True,
            unblinded=False):
    for bad, why in ((invalid > 0.15, f"{invalid:.0%} of tasks lost to infrastructure"
                                      " faults (limit 15 %)"),
                     (not image_ok, "machine differs from the registered image"),
                     (unblinded, "labels revealed to analysts before lock")):
        if bad:
            return f"D = {d:+.2f}: NOT INTERPRETABLE - {why}"
    if hi <= -SESOI:  v = "NG faster by at least the SESOI (x1.25)"
    elif hi < 0:      v = "NG faster; SESOI not shown"
    elif lo >= SESOI: v = "Adam faster by at least the SESOI (x1.25)"
    elif lo > 0:      v = "Adam faster; SESOI not shown"
    elif lo >= -SESOI and hi <= SESOI: v = "no difference worth acting on"
    else:             v = "unclear: interval too wide to decide"
    if abs(fail_ng - fail_adam) >= 0.10:
        worse = "NG" if fail_ng > fail_adam else "Adam"
        hi_f, lo_f = max(fail_ng, fail_adam), min(fail_ng, fail_adam)
        v += (f"\n    qualifier: {worse} missed the target on {hi_f:.0%} of tasks,"
              f" the other arm on {lo_f:.0%}")
    ratio = 2 ** d
    return f"D = {d:+.2f} ({lo:+.2f} to {hi:+.2f}), ratio {ratio:.2f}: {v}"

for case in ((-0.80, -1.00, -0.60, 0.05, 0.08), (-0.20, -0.38, -0.02, 0.04, 0.05),
             (0.05, -0.15, 0.25, 0.03, 0.03), (0.60, 0.40, 0.80, 0.02, 0.04),
             (-0.10, -0.55, 0.35, 0.05, 0.06), (-0.90, -1.10, -0.70, 0.22, 0.04),
             (-0.80, -1.00, -0.60, 0.05, 0.08, 0.19),
             (0.10, -0.10, 0.30, 0, 0, 0, False)):
    print(verdict(*case))
print("secondary outcomes (gradient-evaluation counts, failure rates, final test loss,")
print("  peak memory, results by task family and by condition number) are reported with")
print("  intervals; they never decide the verdict")
# D = -0.80 (-1.00 to -0.60), ratio 0.57: NG faster by at least the SESOI (x1.25)
# D = -0.20 (-0.38 to -0.02), ratio 0.87: NG faster; SESOI not shown
# D = +0.05 (-0.15 to +0.25), ratio 1.04: no difference worth acting on
# D = +0.60 (+0.40 to +0.80), ratio 1.52: Adam faster by at least the SESOI (x1.25)
# D = -0.10 (-0.55 to +0.35), ratio 0.93: unclear: interval too wide to decide
# D = -0.90 (-1.10 to -0.70), ratio 0.54: NG faster by at least the SESOI (x1.25)
#     qualifier: NG missed the target on 22% of tasks, the other arm on 4%
# D = -0.80: NOT INTERPRETABLE - 19% of tasks lost to infrastructure faults (limit 15 %)
# D = +0.10: NOT INTERPRETABLE - machine differs from the registered image
# secondary outcomes (gradient-evaluation counts, failure rates, final test loss,
#   peak memory, results by task family and by condition number) are reported with
#   intervals; they never decide the verdict

示例结果是编造的。前置条件中任何一项不满足(超过 15% 的任务因基础设施故障无效、运行环境与登记的镜像不一致、结果锁定前标签向分析人员揭示),无论主要结局如何,报告都写「不可解释」。只有当置信区间上限不高于 −0.322 时,报告才写「自然梯度至少快出最小关注效应」;上限低于 0 但高于 −0.322 时写「自然梯度较快,但幅度未确定」;下限不低于 0.322 时写「Adam 至少快出最小关注效应」;下限高于 0 但低于 0.322 时写「Adam 较快,但幅度未确定」;区间落在 ±0.322 之内时写「没有值得据此改变做法的差别」;其余情形写「无法判断」。限定语不改变结论的类别,只是附在后面:例如第六个示例中,自然梯度在 22% 的任务上未达到目标、Adam 只有 4%,报告必须同时写明这一点。

这项试验不能说明什么

第一,它不外推到大规模训练:任务集只包含低维广义线性模型与参数不超过 5 万的小型网络,结论不适用于数十亿参数的模型或分布式训练。第二,它在单线程 CPU 上计时:在这种设置下,构造与求逆曲率矩阵相对于一次梯度的代价,与常见的 GPU 训练(矩阵运算高度并行、内存带宽是瓶颈)不同,所以时间比不能直接搬到 GPU 上。第三,它比较的是两份具体的实现、一种调参协议与写明的批量;更好的实现、不同的阻尼、学习率调度或批量(张国栋等人说明预条件方法的优势随批量变化 (Zhang et al. 2019))可能改变结果。第四,它只看达到训练目标的时间,不看泛化;验证损失作为次要结局报告,但试验不是为它设计的(威尔逊等人报告过自适应方法在一些任务上泛化较差 (Wilson et al. 2017))。第五,合成任务不是真实数据;条件数、噪声与模型设定都是生成器给定的,主要结局的数值也依赖 5 层的等量混合。第六,它不检验第四章的不变性分析、经验费希尔或第六章的奇异学习理论,这些需要各自的检验。第七,在 d=3d = 3、4 的试点中自然梯度的大优势来自作者自己的模型,这正是需要独立任务集与预注册的原因;如果正式试验得到「没有值得据此改变做法的差别」或「Adam 较快」,那就是这项试验的结论。

伦理与利益冲突

这项试验不涉及人体受试者,不需要伦理委员会审批;但方案、任务生成器、两份实现与分析代码须在运行之前公开登记。无论结果是正是负,结果、代码与全部任务的汇总数据都将公开。为限制利益的影响:方案与代码在第三方运行前公开登记,作者不接触种子、任务与目标值,无论结果如何都发表。

利益披露

作者以 5D Library 的著作(包括本书)作为其社群课程、升维牌卡(5D Ascension Cards,Dimensional Shift Card Decks)与 Yafu AI 知识库的方法论基础,因此与本书主题有商业利益关系。本书不推销任何课程、牌卡或服务;第八章的试验设计为由独立于作者企业的研究人员实施和分析,不从作者的社群、学员或客户中招募;书中所有代码与研究方案均公开,供任何人检验。作者经营的企业在内容制作与知识库中使用机器学习与 AI 工具,但本书讨论的方法与其商业产品之间没有直接的销售关系。

本章小结

四步核查表从坐标、曲率、代价与正则性四个方面审视一个关于费希尔信息、先验或优化器的说法;示例显示,「快 200 倍」在按计算量折算、并认清「自然梯度」在逻辑回归中就是牛顿法之后,只剩下一个有条件的结论。预注册的计算基准试验在独立第三方冻结的 5 层合成任务上,以配对的 470 个任务(393 个有效任务即有 90% 把握度,并按盲态重估的标准差只增不减地调整)比较自然梯度与 Adam 达到目标损失的墙钟时间,唯一主要结局为时间比对数的均值,最小关注效应 log⁡21.25\log_2 1.25,判定规则写成代码,并预先规定了失败率的限定语;无论结果如何都发表。它只检验两份实现在一类小型合成任务上的表现,不能推及大规模训练。

参考文献

Dahl, George E., Frank Schneider, Zachary Nado, Naman Agarwal, et al. 2023. Benchmarking Neural Network Training Algorithms. arXiv:2306.07179.
Kingma, Diederik P., and Jimmy Ba. 2015. “Adam: A Method for Stochastic Optimization.” 3rd International Conference on Learning Representations (ICLR).
Martens, James, and Roger Grosse. 2015. “Optimizing Neural Networks with Kronecker-Factored Approximate Curvature.” Proceedings of the 32nd International Conference on Machine Learning, Proceedings of machine learning research, vol. 37: 2408–17.
Nosek, Brian A., Charles R. Ebersole, Alexander C. DeHaven, and David T. Mellor. 2018. “The Preregistration Revolution.” Proceedings of the National Academy of Sciences 115 (11): 2600–2606. https://doi.org/10.1073/pnas.1708274114.
Wilson, Ashia C., Rebecca Roelofs, Mitchell Stern, Nathan Srebro, and Benjamin Recht. 2017. “The Marginal Value of Adaptive Gradient Methods in Machine Learning.” Advances in Neural Information Processing Systems 30.
Zhang, Guodong, Lala Li, Zachary Nado, et al. 2019. “Which Algorithmic Choices Matter at Which Batch Sizes? Insights from a Noisy Quadratic Model.” Advances in Neural Information Processing Systems 32.

Fan, Y. (2026). Information Geometry, the Fisher Information Metric and Natural-Gradient Optimisation on Statistical Manifolds: From the Cramér–Rao Bound and Jeffreys's Prior to Singular Learning Theory, Read Beside Classical Chinese Thought on Change and Coordinates [信息几何、费希尔信息度量与自然梯度优化的统计流形] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23836268 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).