5D Library

第五章 上丘多感官神经元：超加性与逆向有效性

5D Library › 心理物理学、韦伯-费希纳定律与多感官贝叶斯整合的数学模型 · English

第五章 上丘多感官神经元：超加性与逆向有效性

一个会合点

前两章讨论的是行为：人怎样合成两种感觉的估计。这一章看神经元。中脑的上丘参与把眼睛与头转向外界的刺激，它的深层有许多神经元同时对视觉、听觉与躯体感觉刺激起反应。20 世纪 80 年代，梅雷迪斯与斯坦因在麻醉的猫身上记录这些神经元，发现两种感觉同时出现在神经元的感受野中时，反应可以远大于单一感觉的反应，有时甚至大于两者之和 (Meredith and Stein 1983)。

斯坦因与梅雷迪斯在 1993 年的专著中把这些观察概括为三条「原则」(Stein and Meredith 1993)：空间原则（两个刺激落在同一位置时增强，离得远时不增强甚至抑制）、时间原则（两个刺激在时间上接近时增强），以及逆向有效性原则（单一感觉刺激越弱，组合带来的相对增强越大）。增强的大小常用一个指数表示：

ME=CM−SMmaxSMmax×100%,\text{ME} = \frac{CM – SM_{\max}}{SM_{\max}} \times 100\%,

其中 CMCM 是多感官组合的平均反应，SMmaxSM_{\max} 是较强的那个单一感觉的平均反应。另一个常用的比较是组合反应与两个单一反应之和的比：大于 1 叫超加性，等于 1 叫相加，小于 1 叫亚相加。

注

动物数据与人的知觉。 本章的单个神经元数据来自猫与猴，多在麻醉条件下记录。把它们推到人的知觉与学习上有明显的限制：物种不同，上丘与大脑皮层的分工不同，单个神经元的反应也不等于行为。本章用它们说明机制的可能性，不用来直接预测人的表现。

一条平滑的非线性曲线就够了

超加性与逆向有效性听起来像是专门的「整合规则」。但其实只要神经元把两种输入相加，再经过一条 S 形的非线性曲线（输入弱时加速上升，输入强时趋于饱和），两者就都会出现。下面的程序模拟这样一个神经元：两种输入的驱动相加，发放率是驱动的 S 形函数（指数 2.5，半饱和点为 1，最高约 62 次/秒，自发 2 次/秒），每种条件记录 30 次、每次 0.5 秒的泊松脉冲计数。程序计算增强指数、加性比（扣除自发发放），以及检验组合反应是否大于两个单一反应之和的 zz 值。所有参数都是示意的。

推导

# Superadditivity and inverse effectiveness from one smooth nonlinearity (illustrative).
# A neuron sums visual and auditory drive, E = v + a, then fires as a Poisson process at
# rate 2 + 60 E^2.5 / (E^2.5 + 1) spikes/s (half-saturation at E = 1). 30 trials of 0.5 s.
# ME = (VA - best single) / best single (Meredith & Stein's index); additivity = VA /
# (V + A) after removing the 2 spikes/s baseline; z tests VA against V + A.
import math, random

def rate(e):
    return 2 + 60 * e ** 2.5 / (e ** 2.5 + 1)

def counts(rng, e, trials=30, t=0.5):
    out = []
    for _ in range(trials):                         # Poisson counts from exponential gaps
        n, clock = 0, rng.expovariate(rate(e))
        while clock < t:
            n, clock = n + 1, clock + rng.expovariate(rate(e))
        out.append(n)
    return out

def stats(x):
    m = sum(x) / len(x)
    return m, sum((v - m) ** 2 for v in x) / (len(x) - 1) / len(x)

if __name__ == "__main__":
    rng = random.Random(1983)
    base = 2 * 0.5
    print("drive each   V      A      VA    ME     additivity   z (VA vs V + A)")
    for s in (0.15, 0.3, 0.5, 1.0, 2.0, 4.0):
        (mv, vv), (ma, va), (mb, vb), (m0, v0) = (stats(counts(rng, e)) for e in
                                                  (s, s, 2 * s, 0.0))
        me = (mb - max(mv, ma)) / max(mv, ma)
        add = (mb - base) / (mv + ma - 2 * base)
        z = (mb - (mv + ma - m0)) / math.sqrt(vb + vv + va + v0)
        print(f"{s:9.2f} {mv:6.1f} {ma:6.1f} {mb:6.1f} {me:+6.0%} {add:9.2f} {z:12.1f}")
    for s in (0.15, 1.0):
        exact = (rate(2 * s) - 2) / (2 * (rate(s) - 2))
        print(f"noise-free additivity at drive {s}: {exact:.2f}")
# drive each   V      A      VA    ME     additivity   z (VA vs V + A)
#      0.15    1.2    1.0    2.3   +89%      6.33          1.8
#      0.30    2.5    2.5    8.6  +241%      2.52          7.4
#      0.50    5.7    5.8   14.4  +150%      1.41          4.2
#      1.00   15.9   16.0   25.9   +62%      0.83         -3.6
#      2.00   26.1   25.9   29.7   +14%      0.57        -13.7
#      4.00   30.2   30.9   31.1    +1%      0.51        -15.7
# noise-free additivity at drive 0.15: 2.72
# noise-free additivity at drive 1.0: 0.85

驱动为 0.3 时，组合反应是两个单一反应之和的 2.52 倍，增强指数 +241%，z=7.4z = 7.4；驱动为 1 时加性比降到 0.83，变成亚相加；驱动为 4 时增强指数只有 +1%，神经元已经饱和。这就是逆向有效性：同一个神经元、同一条规则，弱刺激时超加性，强刺激时亚相加。

有两点值得注意。第一，在最弱的一档（0.15），真实的加性比是 2.72（程序最后一行，没有噪声时的计算），但 30 次记录的 zz 值只有 1.8，达不到通常的显著标准；而增强指数 +89% 反而比下一档小。原因是两个单一反应都接近自发发放，比值的分母很小，估计很不稳定。第二，加性比的估计值 6.33 远高于真实的 2.72，同样是分母接近零造成的。在反应的「地板」附近，超加性既难以检测，又容易被高估。

证据

超加性有多常见。 斯坦福、奎西与斯坦因 2005 年在猫上丘中系统地比较了组合反应与单一反应之和，发现超加性主要出现在单一感觉刺激很弱的时候；刺激增强后，相加与亚相加的反应更为常见 (Stanford et al. 2005)。斯坦因与斯坦福 2008 年的综述也强调，「超加性」不是多感官整合的定义，判断整合与否应当看组合反应是否不同于较强的单一反应，以及它在行为上的后果 (Stein and Stanford 2008)。

归一化模型

奥希罗、安杰拉基与德安杰利斯 2011 年提出了一个更一般的解释 (Ohshiro et al. 2011)。每个神经元先把两种输入按自己的「主导权重」线性相加，E=d1I1+d2I2E = d_1 I_1 + d_2 I_2，经过一个指数为 nn 的扩张性非线性，再除以一群（共 NN 个）神经元活动的平均值：

R=Enαn+1N∑j=1NEjn.R = \frac{E^{\,n}}{\alpha^{\,n} + \frac{1}{N}\sum_{j=1}^{N} E_j^{\,n}} .

这种除法归一化在视觉皮层中早有研究。它对多感官整合作出三个预测：一、所有模型神经元都表现出逆向有效性，但超加性只出现在反应弱时；二、空间原则自然出现；三、一个本身是兴奋性的、但对该神经元不是最佳的输入，也可能抑制它的反应，因为这个输入强烈地驱动了归一化池中的其他神经元。作者把第三点视为区分这一模型与其他模型的关键预测。

下面的程序在一个感受野位置上实现这个模型：25 种神经元，两种输入的主导权重各取 0、0.25、0.5、0.75 与 1，n=2n = 2，α=1\alpha = 1。与原文一样，分母用的是归一化池中活动的平均值；原文的池还包括感受野位于其他位置的神经元，这里只取一个位置，是一种简化。

推导

# Divisive normalisation model of multisensory integration (Ohshiro, Angelaki & DeAngelis
# 2011), one receptive-field location. 25 neuron types with dominance weights d1, d2 in
# {0, .25, .5, .75, 1}; drive E = d1*I1 + d2*I2; response R = E^n / (a^n + mean_pool E^n)
# with n = 2, a = 1; as in the paper, the pool term is the MEAN over the N neuron types.
W = (0.0, 0.25, 0.5, 0.75, 1.0)
POOL = [(d1, d2) for d1 in W for d2 in W]

def resp(d1, d2, i1, i2, n=2.0, a=1.0):
    pool = sum((p1 * i1 + p2 * i2) ** n for p1, p2 in POOL) / len(POOL)
    return (d1 * i1 + d2 * i2) ** n / (a ** n + pool)

if __name__ == "__main__":
    print("balanced neuron (d1 = d2 = 1), both inputs at intensity I:")
    print("    I     R(1 only)  R(2 only)  R(both)   additivity   ME")
    for i in (0.05, 0.2, 0.5, 1, 2, 5, 20):
        r1, r2, rb = resp(1, 1, i, 0), resp(1, 1, 0, i), resp(1, 1, i, i)
        print(f"{i:6.2f} {r1:11.4f} {r2:10.4f} {rb:9.4f} {rb / (r1 + r2):11.2f}"
              f" {(rb - max(r1, r2)) / max(r1, r2):+7.0%}")
    print("neuron dominated by input 1 (d1 = 1, d2 = 0.25 or 0); input 1 fixed at 5,")
    print("adding a second input of strength I2 (response relative to input 1 alone):")
    for d2 in (0.25, 0.0):
        alone = resp(1, d2, 5, 0)
        row = "  ".join(f"I2 = {i2:g}: {resp(1, d2, 5, i2) / alone:.2f}"
                        for i2 in (1, 5, 20))
        print(f"  d2 = {d2:4.2f}:  {row}")
    print("same neuron, weak input 1 (0.3):",
          "  ".join(f"I2 = {i2:g}: {resp(1, 0.25, 0.3, i2) / resp(1, 0.25, 0.3, 0):.2f}"
                    for i2 in (0.3, 1)))
# balanced neuron (d1 = d2 = 1), both inputs at intensity I:
#     I     R(1 only)  R(2 only)  R(both)   additivity   ME
#   0.05      0.0025     0.0025    0.0100        2.00   +299%
#   0.20      0.0394     0.0394    0.1524        1.93   +287%
#   0.50      0.2286     0.2286    0.7619        1.67   +233%
#   1.00      0.7273     0.7273    1.7778        1.22   +144%
#   2.00      1.6000     1.6000    2.6667        0.83    +67%
#   5.00      2.4096     2.4096    3.1008        0.64    +29%
#  20.00      2.6490     2.6490    3.1936        0.60    +21%
# neuron dominated by input 1 (d1 = 1, d2 = 0.25 or 0); input 1 fixed at 5,
# adding a second input of strength I2 (response relative to input 1 alone):
#   d2 = 0.25:  I2 = 1: 0.86  I2 = 5: 0.50  I2 = 20: 0.20
#   d2 = 0.00:  I2 = 1: 0.78  I2 = 5: 0.32  I2 = 20: 0.05
# same neuron, weak input 1 (0.3): I2 = 0.3: 1.45  I2 = 1: 2.23

对两种输入权重相等的神经元，强度为 0.05 时组合反应是两者之和的 2.00 倍（增强 +299%），强度为 1 时 1.22 倍，强度为 20 时只有 0.60 倍（增强 +21%）。第二部分显示了抑制：一个主要接受输入 1 的神经元（d2=0.25d_2 = 0.25），在输入 1 较强（5）时加入同样强的输入 2，反应降到单独时的 0.50，输入 2 更强（20）时降到 0.20，尽管输入 2 对它本身是兴奋性的。而当输入 1 很弱（0.3）时，同样的输入 2 使反应增加到 1.45 倍与 2.23 倍。同一个输入，在弱背景下增强，在强背景下抑制。

左：归一化模型中，权重相等的神经元在两种输入同时出现时的反应与两个单一反应之和的比。三条曲线对应不同的指数 n；弱输入时超加性（大于 1），强输入时亚相加。右：回归到均值造成的「逆向有效性」。每个模拟受试者的真实多感官增益都是 +0.10；按同一批数据中的单一感觉成绩分组时（紫色），最弱的三分之一显得增益最大；用另一批数据计分（蓝色）或按设计分组（灰色）时，趋势消失。

对逆向有效性的统计批评

霍姆斯 2007 年与 2009 年指出，逆向有效性在数据分析中可能部分是统计假象 (Holmes 2007, 2009)。他提出三点：一、如果事后按测得的单一感觉反应把神经元或受试者分组，回归到均值本身就会产生「越弱越增强」的趋势，解决办法是事先设计好刺激强度的档次；二、反应的地板与天花板效应会限制可见的增强与抑制；三、用相对值（百分比）还是绝对值衡量增强，会影响是否看到逆向有效性。他的结论是，考虑这些问题后，逆向有效性在某个数据集中可能消失甚至反转。

下面的程序把第一点做成一个行为实验的模拟：600 名受试者单独看时的正确率各不相同，但每个人加上声音后的真实增益都是 +0.10；每种条件 40 个试次。

推导

# Inverse effectiveness from regression to the mean (after Holmes 2007, 2009). 600
# simulated participants; true accuracy with sight alone p_V ~ U(0.45, 0.80); with sight
# and sound the gain is the SAME for everyone: p_VA = p_V + 0.10. 40 trials per condition
# per session. Participants are then sorted into thirds by unisensory accuracy.
import random

def mean(x):
    return sum(x) / len(x)

def score(rng, p, n=40):
    return sum(rng.random() < p for _ in range(n)) / n

if __name__ == "__main__":
    rng = random.Random(2007)
    people = []
    for _ in range(600):
        p = rng.uniform(0.45, 0.80)
        people.append({"p": p, "V1": score(rng, p), "V2": score(rng, p),
                       "VA": score(rng, p + 0.10)})
    def thirds(key, gain):
        s = sorted(people, key=key)
        return "   ".join(f"{mean([gain(q) for q in s[k * 200:(k + 1) * 200]]):+.3f}"
                           for k in range(3))
    print("true gain is +0.100 for everyone. Mean gain by third (weakest -> strongest):")
    rows = (("sorted by V1, gain = VA - V1 (same data):   ", "V1", "V1"),
            ("sorted by V1, gain = VA - V2 (fresh V data):", "V1", "V2"),
            ("sorted by the true p_V (design):            ", "p", "V1"))
    for label, k, base in rows:
        print("  " + label, thirds(lambda q: q[k], lambda q: q["VA"] - q[base]))
    v1, v2 = [q["V1"] for q in people], [q["V2"] for q in people]
    m1, m2 = mean(v1), mean(v2)
    cov = mean([(a - m1) * (b - m2) for a, b in zip(v1, v2)])
    var = (mean([(a - m1) ** 2 for a in v1]) * mean([(b - m2) ** 2 for b in v2])) ** 0.5
    print(f"test-retest reliability of the unisensory score: r = {cov / var:.2f}")
# true gain is +0.100 for everyone. Mean gain by third (weakest -> strongest):
#   sorted by V1, gain = VA - V1 (same data):    +0.149   +0.086   +0.052
#   sorted by V1, gain = VA - V2 (fresh V data): +0.096   +0.083   +0.094
#   sorted by the true p_V (design):             +0.095   +0.100   +0.091
# test-retest reliability of the unisensory score: r = 0.63

按同一批数据中测得的单一感觉成绩分成三组，最弱一组的增益为 0.149，最强一组只有 0.052，看起来是典型的逆向有效性；但每个人的真实增益都是 0.10。用另一批独立的单一感觉数据计算增益（仍按第一批数据分组），三组变为 0.096、0.083 与 0.094；按设计的真实能力分组时为 0.095、0.100 与 0.091，趋势都消失了。单一感觉成绩的重测信度只有 0.63，这正是回归到均值发生作用的条件。

证据

行为层面的增益不一定在最弱处最大。 罗斯等人 2007 年测量了在不同信噪比的噪声中理解单词的正确率：看见说话者的嘴，带来的增益在中等信噪比（约 −12 分贝）最大，可以使正确率提高三倍以上；在最差的信噪比下增益仍然可观，但不是最大。作者的结论是，逆向有效性并不严格适用于视听言语知觉中的增强 (Ross et al. 2007)。

注

行为上怎样检验「真正的整合」。 两种感觉一起出现时反应变快，不一定说明发生了整合：两个通道各自独立地「赛跑」，谁先到就按谁反应，也会使平均反应时缩短。米勒 1982 年提出了一个检验：如果只是赛跑，任何时刻 tt 上组合条件中已经反应的比例不能超过两个单一条件中已经反应的比例之和，P(RT≤t∣AV)≤P(RT≤t∣A)+P(RT≤t∣V)P(RT \le t \mid AV) \le P(RT \le t \mid A) + P(RT \le t \mid V)；违反这个不等式，才说明两个通道的信息被合在一起 (Miller 1982)。

假说 · 尚未验证

尚未确立：在动作与发音学习中，第二通道的帮助在中等难度时最大。 如果罗斯等人的结果可以推广到学习情境，那么在主通道信息「勉强可用」时加入第二通道，学习收益应当最大，而在主通道几乎无用或已经很清楚时收益较小。如果在预先登记、事先设定了三档难度的实验中，第二通道带来的收益随难度单调变化（最难时最大，或最易时最大），这个假说就是错的。

本章小结

上丘多感官神经元的组合反应可以超过两个单一反应之和，但这种超加性主要出现在刺激很弱的时候；刺激增强后，相加与亚相加更常见。一条平滑的 S 形非线性，或者奥希罗等人的除法归一化，就足以同时产生超加性、逆向有效性与亚相加，归一化模型还预测了兴奋性非最佳输入引起的抑制。在反应的地板附近，超加性难以检测又容易被高估；事后按单一感觉反应分组时，回归到均值本身就能制造逆向有效性。行为层面，视听言语的增益在中等信噪比最大。动物神经元的数据不能直接推到人的学习上。

参考文献

Holmes, Nicholas P. 2007. “The Law of Inverse Effectiveness in Neurons and Behaviour: Multisensory Integration Versus Normal Variability.” Neuropsychologia 45 (14): 3340–45. https://doi.org/10.1016/j.neuropsychologia.2007.05.025.
Holmes, Nicholas P. 2009. “The Principle of Inverse Effectiveness in Multisensory Integration: Some Statistical Considerations.” Brain Topography 21 (3–4): 168–76. https://doi.org/10.1007/s10548-009-0097-2.
Meredith, M. Alex, and Barry E. Stein. 1983. “Interactions Among Converging Sensory Inputs in the Superior Colliculus.” Science 221 (4608): 389–91. https://doi.org/10.1126/science.6867718.
Miller, Jeff. 1982. “Divided Attention: Evidence for Coactivation with Redundant Signals.” Cognitive Psychology 14 (2): 247–79. https://doi.org/10.1016/0010-0285(82)90010-X.
Ohshiro, Tomokazu, Dora E. Angelaki, and Gregory C. DeAngelis. 2011. “A Normalization Model of Multisensory Integration.” Nature Neuroscience 14 (6): 775–82. https://doi.org/10.1038/nn.2815.
Ross, Lars A., Dave Saint-Amour, Victoria M. Leavitt, Daniel C. Javitt, and John J. Foxe. 2007. “Do You See What I Am Saying? Exploring Visual Enhancement of Speech Comprehension in Noisy Environments.” Cerebral Cortex 17 (5): 1147–53. https://doi.org/10.1093/cercor/bhl024.
Stanford, Terrence R., Stephan Quessy, and Barry E. Stein. 2005. “Evaluating the Operations Underlying Multisensory Integration in the Cat Superior Colliculus.” Journal of Neuroscience 25 (28): 6499–508. https://doi.org/10.1523/JNEUROSCI.5095-04.2005.
Stein, Barry E., and M. Alex Meredith. 1993. The Merging of the Senses. MIT Press.
Stein, Barry E., and Terrence R. Stanford. 2008. “Multisensory Integration: Current Issues from the Perspective of the Single Neuron.” Nature Reviews Neuroscience 9 (4): 255–66. https://doi.org/10.1038/nrn2331.

Fan, Y. (2026). Psychophysics, the Weber-Fechner Law and Optimal Bayesian Multisensory Integration: From Stevens's Power Law and the McGurk Effect to Sensory Substitution, Read Beside Classical Chinese Thought on the Six Senses [心理物理学、韦伯-费希纳定律与多感官贝叶斯整合的数学模型] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23788548 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).