5D Library › 心理物理学、韦伯-费希纳定律与多感官贝叶斯整合的数学模型 · English
第六章 感官替代与跨模态可塑性
用皮肤「看」
如果大脑合成知觉的方式像前几章描述的那样灵活，一个自然的问题是：能不能用一种感觉去承担另一种感觉的工作？1969 年，巴赫-伊-丽塔与同事给出了第一个系统的回答。
证据
巴赫-伊-丽塔等人 1969。 一台电视摄像机把图像转换成 400 个电磁振动器（20 × 20，间距 12 毫米）的振动图案，振动器装在一把牙科椅的靠背里，抵着受试者的背部皮肤。6 名盲人受试者经过大量训练与测试，学会了定位并辨认桌上的物体与人。受试者报告，随着经验增加，信息似乎来自摄像机前方的空间，而不是背上的皮肤；作者认为这套装置「似乎成为感觉器官的延伸」(Bach-y-Rita et al. 1969)。
框架中把「舌面电极阵列」与 1969 年的实验写在一起。核对后需要区分：1969 年的装置刺激的是背部皮肤；舌面电刺激阵列是后来发展的，1998 年的技术报告用的是 49 个电极点（7 × 7）(Bach-y-Rita et al. 1998)。舌面的好处是潮湿、导电性好、触觉分辨率高，需要的电压与电流小。
另一类设备用声音代替视觉。迈耶 1992 年描述的 vOICe 系统把摄像机图像从左到右逐列扫描：每一列对应一个时间片，列中像素的高度对应声音的音高，像素的亮度对应响度；最初的系统处理 64 × 64 像素、16 级灰度的图像 (Meijer 1992)，扫描一幅图像通常约需一秒。
视觉皮层被其他感觉激活
证据
盲人的枕叶。 萨达托等人 1996 年用正电子发射断层扫描发现，盲人用手指阅读盲文时，初级视觉皮层被激活；有视力的人做类似的触觉任务时，这一区域的活动反而下降 (Sadato et al. 1996)。科恩等人 1997 年进一步用经颅磁刺激暂时干扰枕叶皮层：早盲者的盲文阅读与触觉辨认出现错误，有视力的人则不受影响。这说明在早盲者中，被「借用」的视觉皮层对触觉任务有功能上的贡献，而不只是伴随的激活 (Cohen et al. 1997)。
证据
声音编码的形状激活外侧枕叶。 阿梅迪等人 2007 年报告，有视力的人与盲人在用 vOICe 的「声景」辨认物体形状时，外侧枕叶中一个通常对视觉与触觉形状都起反应的区域（LOtv）被激活；而凭物体特有的声音辨认物体，或只是把声景与物体死记成对应关系，都不激活这一区域。作者认为该区域由「形状信息」驱动，而不管信息来自哪种感觉 (Amedi et al. 2007)。
框架中说「盲人视觉皮层被触觉/听觉输入激活」，这在整体上有证据支持，但要分清两类结果：萨达托与科恩的研究涉及初级视觉皮层与盲文阅读；阿梅迪等人的研究涉及外侧枕叶的形状加工区，而且受试者包括有视力的人。二者都不等于「用声音或触觉恢复了视觉」。
证据
能达到多高的「视力」。 斯特里姆-阿米特、居恩德尔曼与阿梅迪 2012 年训练 9 名全盲的成人（8 名先天全盲、1 名早盲）使用视觉—听觉替代设备 vOICe，平均训练约 73 小时，然后用标准的视力表测试：个人的「视力」在 20/200 到 20/600 之间，9 人中有 5 人（55%）超过了世界卫生组织对盲的界定，作者称这是当时各种视觉康复方法中报告过的最高视力 (Striem-Amit et al. 2012)。
用什么样的设备参数才能得到这样的视力？下面的程序算一笔「分辨率账」：斯内伦视力 20/X 表示能分辨的最小细节（字母 E 的缺口）对应 X/20 角分；设备用 列像素覆盖摄像机 度的视野，每个像素宽 角分。乐观地假设一个像素就能代表一个细节，现实一点则需要两个像素。
推导
# The resolution budget of a sensory-substitution device. Snellen 20/X means the smallest
# resolvable detail (gap of a letter E) subtends X/20 arcmin. A device that samples the
# camera image with C columns over a horizontal field F deg has pixels of 60 F / C arcmin.
# Optimistic limit: detail = 1 pixel; realistic: 2 pixels (sampling). Devices: the vOICe
# (64 columns, Meijer 1992); a 20 x 20 tactile array (Bach-y-Rita et al. 1969).
WHO_BLIND = 400 # worse than 20/400: blindness (WHO)
def snellen(field_deg, columns, px_per_detail):
return 20 * px_per_detail * 60 * field_deg / columns
if __name__ == "__main__":
print("device field pixel (arcmin) best 20/X: 1 px 2 px beats 20/400?")
for name, cols in (("vOICe 64 cols", 64), ("tactile 20x20", 20)):
for field in (60, 30, 15, 7.5):
x1, x2 = snellen(field, cols, 1), snellen(field, cols, 2)
ok = "yes" if x2 < WHO_BLIND else ("only at 1 px" if x1 < WHO_BLIND else "no")
print(f"{name:14s} {field:6.1f} {60 * field / cols:11.1f} {x1:15.0f}"
f" {x2:7.0f} {ok}")
need = 200 / 20 / 60 * 64 / 2 # field: 20/200 at 2 px per detail
print(f"field for 20/200 with 64 columns, 2 px per detail: {need:.1f} deg"
f" ({60 / need:.1f}x zoom from 60 deg)")
print("price of zoom: the 64 columns cover less of the scene, so finding an object")
print(" takes more head or camera movements and more 1-second scans")
# device field pixel (arcmin) best 20/X: 1 px 2 px beats 20/400?
# vOICe 64 cols 60.0 56.2 1125 2250 no
# vOICe 64 cols 30.0 28.1 562 1125 no
# vOICe 64 cols 15.0 14.1 281 562 only at 1 px
# vOICe 64 cols 7.5 7.0 141 281 yes
# tactile 20x20 60.0 180.0 3600 7200 no
# tactile 20x20 30.0 90.0 1800 3600 no
# tactile 20x20 15.0 45.0 900 1800 no
# tactile 20x20 7.5 22.5 450 900 no
# field for 20/200 with 64 columns, 2 px per detail: 5.3 deg (11.2x zoom from 60 deg)
# price of zoom: the 64 columns cover less of the scene, so finding an object
# takes more head or camera movements and more 1-second scans摄像机视野为 60° 时，64 列的 vOICe 每个像素约 56 角分，最好的情形也只相当于 20/1125，离 20/400 的盲的界限很远；要达到 20/200，在每个细节两个像素的条件下视野要缩到约 5.3°，相当于把 60° 的镜头放大 11 倍。20 × 20 的触觉阵列在表中任何视野下都达不到 20/400。所以替代设备上的「视力」主要是用视野与时间换来的：镜头拉近，同样的 64 列只覆盖景物的一小块，找到一个物体需要更多次转头或移动摄像机，而每次扫描约需一秒。这说明，视力表上的成绩是真实的，但它与正常视觉在一瞥之间同时获得大视野与高分辨率的能力不是一回事。
主动运动：谁在移动摄像机
巴赫-伊-丽塔在 1972 年的专著中强调了一个观察：摄像机固定不动时，受试者只能有限地分辨刺激，并且把它们感受为皮肤上的振动；当受试者能自己移动摄像机（左右、上下、推拉镜头）时，他们辨认形状的能力大大提高，并逐渐把物体感受为位于外部空间 (Bach-y-Rita 1972)。
证据
主动与被动的小猫。 赫尔德与海因 1963 年把成对的小猫放在一个旋转的装置里：一只自己走动，另一只坐在吊篮中被动地随之移动，两只看到的视觉刺激几乎相同。之后测试时，主动走动的小猫发展出正常的视觉引导行为，被动移动的小猫则没有 (Held and Hein 1963)。
为什么主动运动这么重要？下面的程序是一个玩具模型。用户要学会一个参数 ：摄像机每转动一度，声音或触觉图像移动多少。每个试次摄像机转动 度，图像移动 加上噪声。主动用户自己转动摄像机，知道 （误差 2°）；被动用户的摄像机被别人转动，他对 的猜测误差有 15°。两人都用最小二乘法从自己认为的 与观察到的 中估计 。
推导
# Why moving the camera yourself helps (toy model). To use a substitution device the
# user must learn the gain g (image shift per degree of camera turn). Each trial the
# camera turns m deg (sd 15) and the sound or touch image shifts y = g m + noise (sd 3).
# ACTIVE: the user turned it, so m is known to within 2 deg (motor command + body sense).
# PASSIVE: someone else turned it; the user's only guess of m has sd 15 deg.
# The user fits y = g m by least squares on the m they believe. True g = 1.
import random
def learn(rng, n, sd_known, g=1.0):
num = den = 0.0
for _ in range(n):
m = rng.gauss(0, 15)
y = g * m + rng.gauss(0, 3)
m_seen = m + rng.gauss(0, sd_known)
num += m_seen * y; den += m_seen * m_seen
return num / den
if __name__ == "__main__":
rng = random.Random(1963)
print("trials active: mean g spread | passive: mean g spread")
for n in (10, 40, 160, 640):
a = [learn(rng, n, 2.0) for _ in range(2000)]
p = [learn(rng, n, 15.0) for _ in range(2000)]
sd = lambda x: (sum((v - sum(x) / len(x)) ** 2 for v in x) / (len(x) - 1)) ** 0.5
print(f"{n:6d} {sum(a) / len(a):14.3f} {sd(a):8.3f} | {sum(p) / len(p):15.3f}"
f" {sd(p):8.3f}")
print(f"theory for passive learning: g x 15^2 / (15^2 + 15^2) = {225 / 450:.3f};"
f" active: {225 / (225 + 4):.3f}")
err = lambda g: abs(g - 1.0) * 20
print(f"error pointing at an object 20 deg away: active {err(225 / 229):.1f} deg,"
f" passive {err(0.5):.1f} deg")
# trials active: mean g spread | passive: mean g spread
# 10 0.983 0.082 | 0.502 0.184
# 40 0.982 0.039 | 0.500 0.084
# 160 0.983 0.019 | 0.498 0.041
# 640 0.983 0.009 | 0.500 0.021
# theory for passive learning: g x 15^2 / (15^2 + 15^2) = 0.500; active: 0.983
# error pointing at an object 20 deg away: active 0.3 deg, passive 10.0 deg主动用户的估计平均为 0.983，离真值 1 很近，而且随试次增加越来越稳定（标准差从 0.082 降到 0.009）。被动用户的估计停在 0.50，试次再多也不改善：用一个带噪声的自变量做回归，斜率被系统地压低（统计学上叫衰减偏差），压低的比例等于 的真实方差与总方差之比，这里是一半。学到的 若只有一半，指向 20° 外的物体时就会偏 10°。这个模型当然过于简单：一个知道自己误差多大的被动学习者可以作出校正，真实的学习也不只是估计一个参数。它说明的只是一点：自己发出的动作提供了一个已知的输入，这使得「动作—感觉」对应关系可以被准确地学到。
注
「真正看见」的边界。 德罗伊与奥弗雷 2012 年指出，感官替代设备带来的经验既不完全像视觉，也不完全像原来的听觉或触觉，更适合理解为一种类似阅读的、后天习得的技能 (Deroy and Auvray 2012)。埃利、贝内蒂与科利尼翁 2014 年也指出，尽管实验室研究很多，这些设备在视障者的日常生活中很少被使用 (Elli et al. 2014)。本章引用的几项研究受试者分别只有 6 人、9 人等，训练量各不相同，个人差异很大；说受试者「看见了」，最多只能在「获得了通常由视觉提供的空间信息」这个意义上成立。
假说 · 尚未验证
尚未确立：自己控制摄像机的学习者学得更快，即使输入的图像序列完全相同。 可以用「配对被动」设计检验：主动组自己移动摄像机，被动组收到主动组录下的完全相同的声音或触觉序列，但不控制摄像机。如果在预先登记的实验中，两组在训练后定位与辨认物体的成绩没有差别（置信区间排除中等大小的差别），这个假说就是错的。
本章小结
巴赫-伊-丽塔 1969 年的触觉视觉替代设备刺激的是背部皮肤，舌面电刺激阵列是后来的发展；声音替代设备 vOICe 用音高表示高度、响度表示亮度。盲人的视觉皮层可以被盲文阅读激活，并对触觉任务有功能上的贡献；外侧枕叶的形状加工区可以被声音编码的形状激活。借助替代设备，先天全盲者的视力表成绩可以超过盲的界限，但这需要缩小视野、增加扫描时间。主动控制摄像机对建立动作与感觉的对应关系很重要。这些研究的样本都很小，「真正看见」的说法须加限定。下一章转向古代文献中关于感官的论述。
参考文献
Fan, Y. (2026). Psychophysics, the Weber-Fechner Law and Optimal Bayesian Multisensory Integration: From Stevens's Power Law and the McGurk Effect to Sensory Substitution, Read Beside Classical Chinese Thought on the Six Senses [心理物理学、韦伯-费希纳定律与多感官贝叶斯整合的数学模型] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23788548 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).