5D Library › 心理物理学、韦伯-费希纳定律与多感官贝叶斯整合的数学模型 · English
第三章 多感官的贝叶斯最优整合
两个有噪声的估计怎样合成一个
用手指捏住一个物体，同时看着它，我们对它的大小有两个估计：一个来自触觉，一个来自视觉。两个估计都有噪声，而且噪声大小不同：光线好时视觉很准，光线暗或物体被遮挡时就不准了。假定两个估计 与 都没有系统偏差，噪声相互独立，服从正态分布，标准差分别为 与 。在只有这两条信息、它们来自同一个物体的前提下，最大似然估计是两者的加权平均：
权重与各自的精度（方差的倒数）成正比。合成估计的方差是
所以合成估计总比两者中较好的那个更精确；两种感觉同样可靠时，标准差缩小为单一感觉的 ，约 0.71 倍。若再加上关于物体大小的先验分布，就是贝叶斯后验的均值，形式相同。第 29 本第六章用同样的「方差倒数加权」把听觉与喉部体感合成音高估计，这里不再重复。
这个模型作出两个可检验的预测：一、在两种感觉给出矛盾信息时，感知结果应当偏向较可靠的那一种，偏多少由两者的方差决定；二、两种感觉一起用时的辨别阈应当低于单独使用任一种时的阈值，低多少也可以算出来。
视觉与触觉的高度判断
证据
恩斯特与班克斯 2002。 4 名观察者用拇指与食指在虚拟现实装置中「捏」一根凸起的横条，同时通过立体视觉看它，判断它的高度；标准高度为 55 毫米。实验者在视觉图像中加入不同程度的噪声（0%、67%、133% 与 200%），并让视觉与触觉给出相差最多 ±6 毫米的高度（不超过 11%）。单独用触觉时的辨别阈约为高度的 0.085；单独用视觉时，无噪声约为 0.04，噪声 200% 时约为 0.2。结果显示，视觉的权重随噪声增加而下降，与最大似然预测相近；两种感觉合用时的辨别阈也与预测相近。作者的结论是，神经系统以类似最大似然整合器的方式合成视觉与触觉信息；他们也指出，冲突更大时可能出现「舍弃一方」的情形，这一点没有检验 (Ernst and Banks 2002)。
下面的程序用原文报告的数值计算权重、合成阈值与冲突条件下的感知高度。原文只报告了两端的视觉阈值，67% 与 133% 两档是作者按线性插值补上的假设值。冲突条件取视觉比标准高 3 毫米、触觉低 3 毫米。程序还用 20 万次模拟检查合成的离散程度，并比较人可能使用两种线索的四种方式。
推导
# Maximum-likelihood combination of vision and touch for the height of a ridge, after
# Ernst & Banks (2002): standard 55 mm, haptic threshold ~0.085 x height, visual 0.04 x
# height at 0 % noise and 0.2 x at 200 %. Values at 67 % and 133 % are LINEAR
# INTERPOLATIONS (assumed, not reported). T = discrimination threshold (84 % point).
import math, random
def combine(tv, th):
wv = th ** 2 / (tv ** 2 + th ** 2)
return wv, math.sqrt(tv ** 2 * th ** 2 / (tv ** 2 + th ** 2))
if __name__ == "__main__":
h = 55.0
th = 0.085 * h
noise = (0, 67, 133, 200)
tvs = [h * (0.04 + 0.16 * n / 200) for n in noise]
print(f"haptic threshold {th:.2f} mm")
print("noise T_V w_V T_VH best single felt height (V +3, H -3 mm)")
for n, tv in zip(noise, tvs):
wv, tvh = combine(tv, th)
shift = (2 * wv - 1) * 6 / 2 # visual +3, haptic -3
print(f"{n:4d}% {tv:6.2f} {wv:6.2f} {tvh:6.2f} {min(tv, th):9.2f}"
f" {shift:+20.2f} mm")
rng = random.Random(2002) # check by simulation
tv = tvs[1]
wv, tvh = combine(tv, th)
est = [wv * rng.gauss(0, tv) + (1 - wv) * rng.gauss(0, th) for _ in range(200000)]
sd = math.sqrt(sum(e * e for e in est) / len(est))
print(f"simulated combined spread at 67 %: {sd:.2f} (formula {tvh:.2f})")
print("three ways a perceiver might use two cues (no conflict), threshold in mm:")
print("noise optimal touch only alternate 50:50 fixed 50:50 average")
for n, tv in zip(noise, tvs):
alt = math.sqrt(0.5 * tv ** 2 + 0.5 * th ** 2)
avg = math.sqrt(0.25 * tv ** 2 + 0.25 * th ** 2)
print(f"{n:4d}% {combine(tv, th)[1]:9.2f} {th:12.2f} {alt:17.2f} {avg:15.2f}")
# haptic threshold 4.68 mm
# noise T_V w_V T_VH best single felt height (V +3, H -3 mm)
# 0% 2.20 0.82 1.99 2.20 +1.91 mm
# 67% 5.15 0.45 3.46 4.68 -0.29 mm
# 133% 8.05 0.25 4.04 4.68 -1.49 mm
# 200% 11.00 0.15 4.30 4.68 -2.08 mm
# simulated combined spread at 67 %: 3.46 (formula 3.46)
# three ways a perceiver might use two cues (no conflict), threshold in mm:
# noise optimal touch only alternate 50:50 fixed 50:50 average
# 0% 1.99 4.68 3.65 2.58
# 67% 3.46 4.68 4.92 3.48
# 133% 4.04 4.68 6.58 4.66
# 200% 4.30 4.68 8.45 5.98视觉权重从无噪声时的 0.82 降到 200% 噪声时的 0.15。冲突条件下的感知高度随之从偏向视觉 1.91 毫米变为偏向触觉 2.08 毫米。这就是「视觉优势」的本质：它不是视觉天生的特权，而是视觉通常更可靠。合成阈值总低于较好的单一阈值，但收益大小不同：无噪声时 1.99 对 2.20 毫米，只低约 10%；67% 噪声时视觉与触觉的可靠性相近（5.15 与 4.68 毫米），合成阈值 3.46 毫米，比较好的单一阈值低 26%。两种感觉同样可靠时，整合的收益最大。
程序的第二张表比较了四种用法。「只用触觉」与「两种感觉各用一半时间（交替）」都是可能的策略。交替使用不仅没有收益，在可靠性差别大时反而比只用较好的一种差得多（200% 噪声时 8.45 对 4.68 毫米）。固定各取一半的平均在两种感觉同样可靠时接近最优（3.48 对 3.46），可靠性不同时就不行了。要从数据中区分这些策略，关键是看合成阈值是否低于较好的单一阈值，以及冲突条件下的权重是否随噪声改变。
证据
儿童不按最优方式整合。 戈里等人 2008 年用适合儿童的版本重复了视觉—触觉实验：5 至 10 岁的儿童判断大小时由触觉主导，判断方向时由视觉主导，不论哪一种在当时更可靠；接近最优的整合大约到 8 至 10 岁才出现。作者提出一个解释：在身体不断生长的时期，一种感觉被用来校准另一种，而用来校准的感觉不能同时与被校准者平均 (Gori et al. 2008)。纳尔迪尼等人同年在导航任务中发现，成人同时有视觉地标与自身运动线索时，回答的变异比只有一种线索时小，权重接近最优；4 至 5 岁与 7 至 8 岁的儿童则没有这种收益，他们的行为更像是在两种线索之间交替 (Nardini et al. 2008)。
腹语术效应：视觉模糊时声音反过来主导
舞台上的口技表演者开口而不动嘴唇，观众却觉得声音来自木偶的嘴。这个「腹语术效应」通常被解释为视觉对听觉定位的「捕获」。最大似然模型给出另一种解释：视觉的空间定位通常远比听觉精确，所以权重大；如果让视觉变得足够模糊，声音就应当反过来「捕获」视觉。
证据
阿莱斯与伯尔 2004。 6 名观察者判断一个短暂的光斑与一个短促的咔嗒声的位置。光斑是不同宽度的高斯模糊斑（例如 4°、32° 与 64°），声音只用两耳时间差来定位。单独定位时，最小的光斑标准差约 1°，最大的约 20°，声音约 6°；光斑宽约 30° 时二者相近。视觉与声音位置相反地错开时，小光斑条件下感知位置由视觉主导，大光斑条件下由声音主导，与最大似然预测一致。在二者可靠性相近的条件下，合用的定位阈值平均比较好的单一阈值提高了 1.425 倍，预测为 1.414 倍；但单个观察者中只有 2 人的提高达到统计显著。作者也指出，实验中声音只有一种定位线索，精度约为正常听觉的六分之一，结论能否推广到自然条件尚待检验 (Alais and Burr 2004)。
下面的程序用这些数值（中间一档按原文取 6°，其他两档为四舍五入值）计算三种光斑宽度下的权重与感知位置，冲突为视觉 +5°、声音 −5°；然后说明为什么单个观察者常常达不到 倍的提高。
推导
# The ventriloquist effect as reliability weighting, after Alais & Burr (2004). Sound:
# clicks localised with sd ~6 deg; vision: Gaussian blobs, sd ~1 deg (small blob) to ~20
# deg (64 deg blob). Middle value 6 deg (blob ~32 deg) as reported; others ROUNDED.
# Conflict: vision displaced +D, sound -D, D = 5 deg. Positive shift = towards vision.
import math
def mle(sv, sa, rho=0.0, extra=0.0):
"""weight on vision, combined sd; rho = correlated noise, extra = late added noise"""
cov = rho * sv * sa
wv = (sa ** 2 - cov) / (sv ** 2 + sa ** 2 - 2 * cov)
var = (sv ** 2 * sa ** 2 - cov ** 2) / (sv ** 2 + sa ** 2 - 2 * cov)
return wv, math.sqrt(var + extra ** 2)
if __name__ == "__main__":
sa, d = 6.0, 5.0
print("blob sd_V w_V felt place (deg) combined sd gain on best single")
for blob, sv in ((4, 1.0), (32, 6.0), (64, 20.0)):
wv, s = mle(sv, sa)
pos = wv * d + (1 - wv) * (-d)
print(f"{blob:4d} {sv:6.1f} {wv:6.2f} {pos:+14.2f} {s:16.2f}"
f" {min(sv, sa) / s:14.3f}")
print("equal reliabilities (sd 6 and 6): predicted gain sqrt(2) = 1.414;"
" reported average 1.425")
print("why single observers often miss the predicted gain (sd 6 and 6):")
for rho, extra in ((0.0, 0.0), (0.3, 0.0), (0.0, 2.0), (0.3, 2.0)):
s = mle(6.0, 6.0, rho, extra)[1]
print(f" noise correlation {rho:.1f}, late noise {extra:.0f} deg ->"
f" combined sd {s:.2f}, gain {6.0 / s:.3f}")
# blob sd_V w_V felt place (deg) combined sd gain on best single
# 4 1.0 0.97 +4.73 0.99 1.014
# 32 6.0 0.50 +0.00 4.24 1.414
# 64 20.0 0.08 -4.17 5.75 1.044
# equal reliabilities (sd 6 and 6): predicted gain sqrt(2) = 1.414; reported average 1.425
# why single observers often miss the predicted gain (sd 6 and 6):
# noise correlation 0.0, late noise 0 deg -> combined sd 4.24, gain 1.414
# noise correlation 0.3, late noise 0 deg -> combined sd 4.84, gain 1.240
# noise correlation 0.0, late noise 2 deg -> combined sd 4.69, gain 1.279
# noise correlation 0.3, late noise 2 deg -> combined sd 5.23, gain 1.146小光斑时视觉权重 0.97，感知位置在 +4.73°，几乎完全被光斑吸引；大光斑时视觉权重只剩 0.08，感知位置在 −4.17°，声音反过来「捕获」了光斑。只有在两者可靠性相等时，合用才带来 1.414 倍的精度提高；可靠性相差悬殊时，提高只有 1.014 与 1.044 倍，实验中几乎测不出来。
程序最后一部分显示，如果两种感觉的噪声有部分相关（相关系数 0.3），或者在合成之后还加入了 2° 的「晚期」噪声，可能的提高就降到 1.24 或 1.28 倍；两者都有时只有 1.15 倍。这正是原作者在讨论中列出的可能原因。要检验最优整合，研究需要足够多的试次来估计每个人的单一阈值，并预先说明怎样判断「接近最优」。
证据
最优整合并非总是成立。 巴塔格利亚、雅各布斯与阿斯林 2003 年在 10 名受试者的视听定位实验中发现，判断确实随相对可靠性改变，但整体上偏向依赖视觉，超过了最大似然权重的预测；他们用加入先验的贝叶斯模型解释这种偏差 (Battaglia et al. 2003)。2019 年，迈耶尔等人以阿莱斯与伯尔的实验为对象进行检验，结论是视听空间信号的整合不严格符合按可靠性加权的最大似然估计 (Meijer et al. 2019)。
注
「最优」是在模型假设之内的最优。 最大似然组合的前提是：两个估计无偏、噪声独立且服从正态分布、来自同一个物体。如果两个信号其实来自两个物体，把它们平均反而是错的。下一章讨论大脑怎样判断「是不是同一个来源」。
假说 · 尚未验证
尚未确立：在音高模仿中，经触觉通道呈现的实时误差信号能改善撤去反馈后的保持。 初学者模仿音高时，主要靠听自己的声音判断唱得准不准。如果把话筒测得的音高误差同时以前臂振动呈现，这个信号的噪声与听觉自我监测的噪声相互独立，按本章的公式，二者合成后对自身误差的估计应当更精确，发声动作的校准也应更快。但运动学习研究中的「指导假说」提醒：练习时依赖外加反馈，撤去反馈后的表现可能反而变差 (Salmoni et al. 1984)。第八章的试验以 24 小时后无反馈的保持测验检验这一点。如果在预先登记的试验中，对照组（佩戴不振动的设备）减振动组的保持误差之差（正值表示振动组更准），其置信区间上限低于最小关注差异，这个假说就是错的。
本章小结
最大似然整合按精度分配权重，合成估计比任何单一感觉更精确，两种感觉同样可靠时收益最大，标准差缩小为 。恩斯特与班克斯的视觉—触觉实验与阿莱斯与伯尔的视听定位实验都与这一模型的预测相近，后者还显示视觉足够模糊时声音会反过来主导位置判断。但这些实验的受试者很少（4 人与 6 人），单个观察者常常达不到预测的收益；儿童在 8 至 10 岁之前不按最优方式整合；成人实验中也有过度依赖视觉、不严格符合最大似然权重的结果。「最优」只在模型假设之内成立，其中最重要的一条是两个信号来自同一个来源。
参考文献
Fan, Y. (2026). Psychophysics, the Weber-Fechner Law and Optimal Bayesian Multisensory Integration: From Stevens's Power Law and the McGurk Effect to Sensory Substitution, Read Beside Classical Chinese Thought on the Six Senses [心理物理学、韦伯-费希纳定律与多感官贝叶斯整合的数学模型] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23788548 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).