5D Library › 具身认知、伯恩斯坦自由度问题与运动协同的控制理论 · English

第四章 内部正向模型与传出副本:绕过感觉延迟

延迟有多长

上一章的模型都假设控制器随时知道肢体在哪里。真实的神经系统不是这样:感受器的转换、神经传导与中枢处理都要时间,等感觉信号到达,肢体早已移动了一段距离。

证据

感觉运动回路的延迟。 富兰克林与沃尔珀特 2011 年在《神经元》上的综述说,感觉运动回路的延迟在 100 毫秒量级,但随感觉通道而异,视觉比本体感觉慢:单突触牵张反射约 10—40 毫秒,长潜伏期牵张反射的皮层成分再加约 20—30 毫秒;对视觉刺激的不随意运动反应约 110—150 毫秒;前庭眼反射约 10 毫秒 (Franklin and Wolpert 2011)。

所以框架中的「50—200 毫秒」只能当作一个粗略的范围:最快的脊髓反射低于 50 毫秒,经过视觉的修正往往在 100 毫秒以上,有意识的反应时间更长。第 29 本讨论过听觉反馈中约 100—150 毫秒的变调反射,以及延迟如何使高增益的反馈控制发生振荡;本章不重复那里的控制程序,只讨论状态估计:在信号迟到的情况下,神经系统怎样知道肢体此刻在哪里。

内部模型

一个直接的办法是预测。如果神经系统保留一份自己发出的运动指令的副本,再加上一个关于身体与环境怎样响应指令的模型,就可以在感觉信号到来之前算出动作的后果。前者称为传出副本,后者称为正向模型;与之相对,从期望的结果反推所需指令的模型称为逆向模型 (Kawato 1999; Franklin and Wolpert 2011)。

证据

两个术语的来历。 冯·霍尔斯特与米特尔施泰特 1950 年提出「再传入原理」:中枢发出指令时留下一份「传出副本」,与由动作引起的感觉信号(再传入)相比较,从而把自己造成的感觉与外界造成的感觉区分开 (Holst and Mittelstaedt 1950)。同年,斯佩里在研究眼睛被手术倒转的鱼的旋转行为时,提出了「伴随放电」的概念 (Sperry 1950)。两者相关但不完全相同:前者强调指令的副本,后者泛指伴随运动指令的中枢信号。框架写作「伴随放电(Efference Copy)」,本书分别称为「传出副本」与「伴随放电」。

米亚尔等人 1993 年提出,小脑可能像工程控制中的史密斯预估器那样工作:一个快速的正向模型预测动作的感觉后果,另一个模型模拟回路中的延迟,把预测推迟到与真实反馈同时到达,两者的差别用来纠正动作并训练第一个模型 (Miall et al. 1993)。沃尔珀特、米亚尔与川人 1998 年的综述进一步讨论了小脑中正向模型与逆向模型的证据 (Wolpert et al. 1998)。框架把「小脑内部正向模型」归于沃尔珀特等 1995 年,需要更正:那篇论文研究的是感觉运动整合中的内部模型,没有涉及小脑。

证据

沃尔珀特、加赫拉玛尼与乔丹 1995 年。 受试者在黑暗中移动手臂,有时受到外加的助力或阻力,动作结束时估计手的位置。作者在状态估计的框架中分析估计误差随时间的变化,认为结果直接支持中枢神经系统在内部模拟运动系统动态行为的看法,即存在一个内部模型 (Wolpert et al. 1995)。他们的模型把正向模型的预测与感觉反馈按各自的不确定性加权合并,这正是卡尔曼滤波的结构 (Kalman 1960)。第 34 本讨论过的多感官最优整合,是同一原理在不同感觉之间的应用。

卡尔曼估计:预测加纠正

下面的程序比较三种估计手的位置的方法。一只一维的「手」(质量 1 千克,黏滞 2 牛·秒/米)在 2 秒内以 0.5 赫兹来回移动 0.15 米,指令已知(传出副本),但每步有标准差 0.5 牛的运动噪声;本体感觉以标准差 5 毫米报告位置,但迟到 dd 步(每步 10 毫秒)。第一种方法只看最近一次(迟到的)读数;第二种只用正向模型积分指令(航位推算);第三种是卡尔曼滤波:把状态扩充为当前位置、速度与过去 dd 步的位置,每一步先用正向模型预测,再用迟到的读数纠正。另一个条件中,手受到一个正向模型不知道的 +0.3 牛外力。

推导

# State estimation with an internal forward model and delayed feedback (illustrative).
# A 1-D hand (mass 1 kg, viscosity 2 N s/m) moves back and forth for 2 s under a known
# command (efference copy). Proprioception reports position d steps late (dt = 10 ms)
# with SD 5 mm. Motor noise: SD 0.5 N per step. In the "bias" condition an external
# force of +0.3 N acts that the forward model does not know about. Three estimators:
# the latest delayed reading alone; the forward model alone (dead reckoning); and a
# Kalman filter on the delay-augmented state [p, v, p(t-1), ..., p(t-d)].
import math, random
DT, M, VISC, SY, SU, STEPS = 0.01, 1.0, 2.0, 0.005, 0.5, 200

def command(t):                       # 0.15 m back-and-forth at 0.5 Hz, plus viscosity
    w = 2 * math.pi * 0.5
    return M * (-0.15 * w * w * math.sin(w * t)) + VISC * 0.15 * w * math.cos(w * t)

def model(d):
    n = 2 + d; A = [[0.0] * n for _ in range(n)]
    A[0][0] = 1; A[0][1] = DT; A[1][1] = 1 - DT * VISC / M
    A[2][0] = 1
    for i in range(3, n):
        A[i][i - 1] = 1
    return A, [0.0, DT / M] + [0.0] * d

def kalman_gains(d):
    A, b = model(d); n = len(A); P = [[0.0] * n for _ in range(n)]; gains = []
    q = (SU * DT / M) ** 2 * 4               # process noise, inflated for unknown forces
    for _ in range(STEPS):
        P = [[sum(A[i][k] * sum(P[k][l] * A[j][l] for l in range(n)) for k in range(n))
              for j in range(n)] for i in range(n)]
        P[1][1] += q
        s = P[n - 1][n - 1] + SY ** 2; K = [P[i][n - 1] / s for i in range(n)]
        P = [[P[i][j] - K[i] * P[n - 1][j] for j in range(n)] for i in range(n)]
        gains.append(K)
    return gains

def run(d, gains, bias, rng):
    A, b = model(d); n = len(A); x = [0.0] * n; z = [0.0] * n; fm = [0.0, 0.0]
    err = {"delayed reading": [], "forward model": [], "Kalman": []}
    for t in range(STEPS):
        u = command(t * DT)
        noise = rng.gauss(0, SU)
        x = [sum(a * v for a, v in zip(r, x)) + bi * (u + noise + bias)
             for r, bi in zip(A, b)]
        y = x[n - 1] + rng.gauss(0, SY)
        z = [sum(a * v for a, v in zip(r, z)) + bi * u for r, bi in zip(A, b)]
        inn = y - z[n - 1]; z = [zi + k * inn for zi, k in zip(z, gains[t])]
        fm = [fm[0] + DT * fm[1], fm[1] + DT * (u - VISC * fm[1]) / M]
        err["delayed reading"].append(y - x[0]); err["forward model"].append(fm[0] - x[0])
        err["Kalman"].append(z[0] - x[0])
    return err

if __name__ == "__main__":
    rng = random.Random(1995)
    print("RMS position error over the 2 s movement (mm), 300 runs; no external force")
    print("   delay   delayed reading   forward model   Kalman")
    for d in (5, 10, 20):
        g = kalman_gains(d); acc = {}
        for _ in range(300):
            for k, v in run(d, g, 0.0, rng).items():
                acc[k] = acc.get(k, 0.0) + sum(e * e for e in v) / STEPS / 300
        print(f"  {10 * d:4d} ms      {1000 * math.sqrt(acc['delayed reading']):6.2f}"
              f"          {1000 * math.sqrt(acc['forward model']):6.2f}"
              f"        {1000 * math.sqrt(acc['Kalman']):6.2f}")
    print("unknown external force +0.3 N, delay 100 ms: mean error (bias) and SD, mm")
    g = kalman_gains(10); runs = [run(10, g, 0.3, rng) for _ in range(300)]
    print("   time    forward model: bias     SD    Kalman: bias     SD")
    for t in (25, 50, 100, 150, 199):
        out = []
        for k in ("forward model", "Kalman"):
            v = [r[k][t] for r in runs]; m = sum(v) / len(v)
            s = math.sqrt(sum((e - m) ** 2 for e in v) / (len(v) - 1))
            out.append(f"{1000 * m:+8.2f}  {1000 * s:6.2f}")
        print(f"  {(t + 1) * DT:4.2f} s          {out[0]}          {out[1]}")
# RMS position error over the 2 s movement (mm), 300 runs; no external force
#    delay   delayed reading   forward model   Kalman
#     50 ms       17.02           16.46          2.40
#    100 ms       32.37           17.54          3.18
#    200 ms       61.84           17.05          4.57
# unknown external force +0.3 N, delay 100 ms: mean error (bias) and SD, mm
#    time    forward model: bias     SD    Kalman: bias     SD
#   0.26 s             -8.37    3.10             -5.20    3.18
#   0.51 s            -28.33    7.38             -4.83    3.36
#   1.01 s            -86.44   15.94             -5.02    3.32
#   1.51 s           -155.26   22.98             -5.18    3.08
#   2.00 s           -227.25   28.47             -5.61    3.24

没有外力时,只看迟到读数的误差随延迟成比例增大:50、100、200 毫秒时分别为 17.02、32.37、61.84 毫米,基本上就是手在延迟期间移动的距离。只用正向模型的误差约 17 毫米,与延迟无关,但来自运动噪声的累积。卡尔曼估计把两者结合,误差为 2.40、3.18、4.57 毫米,只有两种单独方法中较好者的约 1/7、1/5.5 与 1/3.7;延迟越长,误差越大,但增长慢得多。

有未知外力时(延迟 100 毫秒),只用正向模型的偏差越积越大:0.26 秒时 −8.37 毫米,1 秒时 −86.44 毫米,2 秒时 −227.25 毫米。卡尔曼估计的偏差稳定在约 −5 毫米(−4.83 到 −5.61 毫米),标准差约 3.1—3.4 毫米:感觉反馈不断把估计拉回来,但只要模型不知道这个外力,就会留下一个稳定的偏差(图四左)。要消除它,模型本身必须学习这个外力,也就是适应;这正是内部模型需要不断校准的原因。

为什么自己挠自己不痒

正向模型的另一个用途是区分自己与外界。如果能预测自己动作的感觉后果,就可以把它从感觉信号中减去,只留下外界造成的部分。

证据

挠痒研究。 魏斯克兰茨、埃利奥特与达林顿 1971 年报告了「自己挠自己」的初步观察:自己施加的刺激比别人施加的刺激感觉更弱 (Weiskrantz et al. 1971)。布莱克莫尔、沃尔珀特与弗里斯 1998 年用功能磁共振比较了 6 名受试者自己产生与外界产生的触觉(一根泡沫头的杆在左手掌上移动,由受试者右手或实验者驱动):自己产生的触觉使双侧次级躯体感觉皮层与前扣带回的活动减弱,右侧小脑前部被自己产生触觉的动作抑制、被外界触觉激活,作者认为小脑参与预测动作的特定感觉后果 (Blakemore et al. 1998)。在 1999 年的心理物理实验中,左手的动作经由机器人在右手掌上产生触觉,在两者之间加入 0、100、200、300 毫秒的延迟,或把轨迹旋转 30°、60°、90°;延迟从 0 增加到 200 毫秒、旋转从 0° 增加到 90° 时,「痒」的评分逐渐升高 (Blakemore et al. 1999)。

证据

力的升级。 舍吉尔、贝斯、弗里斯与沃尔珀特 2003 年让 6 对受试者轮流按压对方的手指,每人都被要求施加与刚才感受到的相同的力,起始力为 0.25 牛。力平均每回合升高 38%,8 个回合共升高 3.2 牛,每一对都出现了升级。另 12 名受试者单独测试:用自己的手指按压来匹配一个外加的力时,会系统地按得过重(与用操纵杆匹配相比,截距平均增加 0.53 牛,斜率增加 49%)。作者认为,自己产生的力被预测性地衰减,所以每个人都觉得对方按得比自己重 (Shergill et al. 2003)。

推导

程序的第一部分用一个示意模型说明延迟与旋转怎样削弱「抵消」:机器人沿二维路径划动(0.5—3 赫兹的正弦分量随机叠加),正向模型按无延迟、无旋转预测触觉;抵消的程度与预测和实际触觉的匹配程度 ρ\rho(归一化内积)成正比,感觉强度 =1−0.8max⁡(0,ρ)= 1 – 0.8\max(0, \rho),对 200 条随机路径取平均。第二部分假设每个人感到自己的力被乘以一个衰减系数 aa,下一回合施加「自己刚才感到的力 ÷ aa」;平均每回合 38% 的升级对应 a=1/1.38≈0.725a = 1/1.38 \approx 0.725。

# Predictive attenuation of self-produced touch (illustrative model). The left hand
# moves a robot that strokes the right palm along a 2-D path s(t): band-limited motion,
# sum of sinusoids 0.5-3 Hz with random phases (seeded). The forward model predicts the
# touch from the efference copy with no delay and no rotation; the robot may add a
# delay and rotate the path. Cancellation is proportional to the match rho (normalised
# inner product of prediction and actual touch): perceived = 1 - g * max(0, rho), with
# g = 0.8, averaged over 20 s and 200 random paths. Part 2: force escalation
# when each person feels their own push attenuated by a constant factor.
import math, random

def path(rng, n=2000, dt=0.01):
    comps = [(f, rng.uniform(0, 2 * math.pi), rng.uniform(0, 2 * math.pi), 1 / f)
             for f in (0.5, 0.8, 1.2, 1.7, 2.3, 3.0)]
    return [(sum(a * math.sin(2 * math.pi * f * k * dt + px) for f, px, _, a in comps),
             sum(a * math.sin(2 * math.pi * f * k * dt + py) for f, _, py, a in comps))
            for k in range(n)]

def perceived(p, lag, rot, g=0.8):
    c, s = math.cos(rot), math.sin(rot); dot = na = npr = 0.0
    for k in range(lag, len(p)):
        ax, ay = p[k - lag]; ax, ay = c * ax - s * ay, s * ax + c * ay   # actual touch
        px, py = p[k]                                                   # prediction
        dot += ax * px + ay * py; na += ax * ax + ay * ay; npr += px * px + py * py
    return 1 - g * max(0.0, dot / math.sqrt(na * npr))

if __name__ == "__main__":
    rng = random.Random(1998); paths = [path(rng) for _ in range(200)]
    print("perceived intensity relative to external touch (1.00 = no attenuation)")
    print("  rotation:      0 deg   30 deg   60 deg   90 deg")
    for ms in (0, 100, 200, 300):
        vals = [sum(perceived(p, ms // 10, math.radians(r)) for p in paths)
                / len(paths) for r in (0, 30, 60, 90)]
        print(f"  delay {ms:3d} ms   " + "    ".join(f"{v:.2f}" for v in vals))
    print("force escalation: next push = own previous felt force / attenuation factor")
    for a in (1.0, 0.85, 1 / 1.38):
        f = [0.25]
        for _ in range(8):
            f.append(f[-1] / a)
        print(f"  factor {a:.3f}: force after turns 1, 4, 8 = {f[1]:.2f}, {f[4]:.2f},"
              f" {f[8]:.2f} N; rise over 8 turns {f[8] - f[0]:.2f} N")
    rng = random.Random(2003); ends = []
    for _ in range(10000):                     # 38 % mean per turn with 15 % turn noise
        f = 0.25
        for _ in range(8):
            f *= 1.38 * math.exp(rng.gauss(0, 0.15) - 0.15 ** 2 / 2)
        ends.append(f - 0.25)
    ends.sort()
    print(f"  factor 0.725 with 15 % noise per turn: median rise {ends[5000]:.2f} N,"
          f" 10-90 % {ends[1000]:.2f} to {ends[9000]:.2f} N")
# perceived intensity relative to external touch (1.00 = no attenuation)
#   rotation:      0 deg   30 deg   60 deg   90 deg
#   delay   0 ms   0.20    0.31    0.60    1.00
#   delay 100 ms   0.32    0.41    0.66    0.94
#   delay 200 ms   0.58    0.63    0.77    0.90
#   delay 300 ms   0.81    0.82    0.83    0.86
# force escalation: next push = own previous felt force / attenuation factor
#   factor 1.000: force after turns 1, 4, 8 = 0.25, 0.25, 0.25 N; rise over 8 turns 0.00 N
#   factor 0.850: force after turns 1, 4, 8 = 0.29, 0.48, 0.92 N; rise over 8 turns 0.67 N
#   factor 0.725: force after turns 1, 4, 8 = 0.34, 0.91, 3.29 N; rise over 8 turns 3.04 N
#   factor 0.725 with 15 % noise per turn: median rise 2.76 N, 10-90 % 1.52 to 4.92 N

在这个模型中,无延迟、无旋转时感觉强度只有外界触觉的 0.20;延迟 100、200、300 毫秒时升至 0.32、0.58、0.81;旋转 90° 时为 1.00(完全不抵消)。这与布莱克莫尔等人 1999 年报告的方向一致,但数值取决于假设的路径频率与增益,不是对实验的拟合(图四右)。

力的升级部分,系数 0.725 时 8 个回合后力为 3.29 牛,升高 3.04 牛,与报告的 3.2 牛接近;系数 0.85 时只升高 0.67 牛。给每回合加上 15% 的乘性随机变化后,升高量的中位数为 2.76 牛,10% 到 90% 分位在 1.52 到 4.92 牛之间。也就是说,一个恒定的自感衰减足以产生实验中看到的升级幅度;这不证明衰减系数恒定,只说明报告的数字在这个简单模型中是自洽的。

左:延迟 100 毫秒、存在未知外力时三种估计方法的均方根误差随时间的变化(程序 p06,100 次运行,对数纵轴)。右:示意模型中自产触觉的感觉强度(相对于外界触觉)随机器人延迟与轨迹旋转的变化(程序 p07,60 条随机路径)。

假说 · 尚未验证 · 内部焦点放大了被抵消的信号

作者的推测:如果神经系统用正向模型预测并衰减自产的感觉,那么要求练习者把注意放在自己的关节与肌肉感觉上(第六章的「内部焦点」),可能相当于提高了这些本应被衰减的信号的权重,使微小的预测误差显得重要,从而引发不必要的纠正——包括对任务无关方向的纠正。能推翻它的结果: 在同一受试者中,内部焦点指令与外部焦点指令下,力匹配任务中的自产力高估量(舍吉尔等人的指标)没有差别,或者动作中纠正性子运动的频率与 UCM 方向的纠正量没有差别。

本章小结

感觉运动回路的延迟随通道而异:单突触反射约 10—40 毫秒,视觉反应约 110—150 毫秒,「50—200 毫秒」只是粗略范围。正向模型用传出副本预测动作的后果,卡尔曼估计把预测与迟到的反馈按不确定性加权合并:在示意模型中,延迟 100 毫秒时误差从 32.37 毫米(只看迟到读数)降到 3.18 毫米;未知外力造成约 5 毫米的稳定偏差,只有模型本身适应才能消除。沃尔珀特等 1995 年的论文讨论的是感觉运动整合中的内部模型,小脑内部模型的提法见米亚尔等 1993 年与沃尔珀特等 1998 年。预测性衰减解释了自己挠自己不痒(布莱克莫尔等 1998 年的功能磁共振与 1999 年的心理物理)与力的升级(每回合 38%,对应约 0.725 的衰减系数)。下一章从关节与感觉转向肌肉:肌肉协同是怎样被「发现」的,又是否真的来自神经系统。

参考文献

Blakemore, Sarah-Jayne, Christopher D. Frith, and Daniel M. Wolpert. 1999. “Spatio-Temporal Prediction Modulates the Perception of Self-Produced Stimuli.” Journal of Cognitive Neuroscience 11 (5): 551–59. https://doi.org/10.1162/089892999563607.
Blakemore, Sarah-Jayne, Daniel M. Wolpert, and Christopher D. Frith. 1998. “Central Cancellation of Self-Produced Tickle Sensation.” Nature Neuroscience 1 (7): 635–40. https://doi.org/10.1038/2870.
Franklin, David W., and Daniel M. Wolpert. 2011. “Computational Mechanisms of Sensorimotor Control.” Neuron 72 (3): 425–42. https://doi.org/10.1016/j.neuron.2011.10.006.
Holst, Erich von, and Horst Mittelstaedt. 1950. “Das Reafferenzprinzip: Wechselwirkungen Zwischen Zentralnervensystem Und Peripherie.” Naturwissenschaften 37 (20): 464–76. https://doi.org/10.1007/BF00622503.
Kalman, Rudolf E. 1960. “A New Approach to Linear Filtering and Prediction Problems.” Journal of Basic Engineering 82 (1): 35–45. https://doi.org/10.1115/1.3662552.
Kawato, Mitsuo. 1999. “Internal Models for Motor Control and Trajectory Planning.” Current Opinion in Neurobiology 9 (6): 718–27. https://doi.org/10.1016/S0959-4388(99)00028-8.
Miall, R. Chris, D. J. Weir, Daniel M. Wolpert, and John F. Stein. 1993. “Is the Cerebellum a Smith Predictor?” Journal of Motor Behavior 25 (3): 203–16. https://doi.org/10.1080/00222895.1993.9942050.
Shergill, Sukhwinder S., Paul M. Bays, Chris D. Frith, and Daniel M. Wolpert. 2003. “Two Eyes for an Eye: The Neuroscience of Force Escalation.” Science 301 (5630): 187. https://doi.org/10.1126/science.1085327.
Sperry, Roger W. 1950. “Neural Basis of the Spontaneous Optokinetic Response Produced by Visual Inversion.” Journal of Comparative and Physiological Psychology 43 (6): 482–89. https://doi.org/10.1037/h0055479.
Weiskrantz, Lawrence, John Elliott, and C. Darlington. 1971. “Preliminary Observations on Tickling Oneself.” Nature 230 (5296): 598–99. https://doi.org/10.1038/230598a0.
Wolpert, Daniel M., Zoubin Ghahramani, and Michael I. Jordan. 1995. “An Internal Model for Sensorimotor Integration.” Science 269 (5232): 1880–82. https://doi.org/10.1126/science.7569931.
Wolpert, Daniel M., R. Chris Miall, and Mitsuo Kawato. 1998. “Internal Models in the Cerebellum.” Trends in Cognitive Sciences 2 (9): 338–47. https://doi.org/10.1016/S1364-6613(98)01221-2.

Fan, Y. (2026). Embodied Cognition, Bernstein's Degrees-of-Freedom Problem and the Control Theory of Motor Synergies: From the Uncontrolled Manifold Hypothesis and Internal Forward Models to Fitts's Law, Read Beside Classical Chinese Thought on Skill and the Way [具身认知、伯恩斯坦自由度问题与运动协同的控制理论] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23828057 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).