5D Library

第二章 多巴胺预测误差：欲望的算术

5D Library › 欲望的热力学 · English

第二章 多巴胺预测误差：欲望的算术

猴子与果汁

二十世纪八九十年代，沃尔夫拉姆·舒尔茨和他在瑞士弗里堡的同事，在猴子学习一项简单任务时，记录它们中脑里单个多巴胺神经元的活动。一盏灯亮起或一个声音响起，几秒钟后，一滴果汁送到猴子嘴里。

神经元的表现几乎让所有人吃惊。一开始，在猴子还不知道灯光意味着什么时，神经元在果汁送到的那一刻爆发放电。等猴子学会了灯光预示着果汁，这阵放电就挪了位置：神经元在灯亮时放电，对果汁本身几乎没有反应。而如果灯亮了、果汁却没有来，在果汁本该到达的那一刻，神经元会沉默下去，放电率低于平时的基线。

证据

1997 年，舒尔茨、彼得·达扬（Peter Dayan）和里德·蒙塔古（Read Montague）证明：如果多巴胺神经元报告的是奖赏预测误差，即实际得到的奖赏加上接下来情境的价值、减去原先预期的奖赏，那么上述模式恰好就是计算机科学中一条学习规则所预言的 (Schultz, Dayan, and Montague 1997)。后来的研究证实，多巴胺反应的大小随误差的大小变化：结果比预期好时为正，比预期差时为负 (Schultz 2016)。

这条学习规则叫做时间差分学习。在每一时刻 tt，大脑对当前情境预示多少奖赏持有一个估计 V(st)V(s_t)。下一刻到来时，它计算

δt=rt+γV(st+1)−V(st),\delta_t = r_t + \gamma V(s_{t+1}) – V(s_t),

即刚刚到来的奖赏 rtr_t，加上新情境（打过折扣的）价值，减去原先的预期；然后以一个小的学习率 α\alpha，把估计朝真实值推一点：V(st)←V(st)+αδtV(s_t) \leftarrow V(s_t) + \alpha\,\delta_t (Sutton and Barto 2018)。动物学习研究中更早的雷斯科拉–瓦格纳规则 ΔV=α(r−V)\Delta V = \alpha (r – V)，是同一个想法，只是没有时间步 (Rescorla and Wagner 1972)。

推导

下面的模拟把猴子的任务重复三百次：提示信号在不可预测的时刻出现，十步之后到来数值为 1 的奖赏。程序打印提示出现时和奖赏应到时的预测误差，最后再跑一次扣下奖赏的试次。

alpha, gamma = 0.1, 1.0
T = 10                       # 提示出现后第 10 步给奖赏
V = [0.0] * (T + 1)          # 「提示后第 t 步」的价值；V[T] 是试次结束

def trial(reward=1.0, learn=True):
    """Return the prediction error at the cue and at the moment the reward is due."""
    d_cue = gamma * V[0] - 0.0             # 提示出现的时刻不可预测：之前的价值为 0
    for t in range(T):
        r = reward if t == T - 1 else 0.0
        d = r + gamma * V[t + 1] - V[t]
        if learn:
            V[t] += alpha * d
        if t == T - 1:
            d_reward = d
    return d_cue, d_reward

print("trial   delta at cue   delta at reward")
for n in range(1, 301):
    d_cue, d_rew = trial()
    if n in (1, 10, 50, 100, 300):
        print(f"{n:5d}   {d_cue:12.2f}   {d_rew:15.2f}")
d_cue, d_rew = trial(reward=0.0, learn=False)
print(f"omit    {d_cue:12.2f}   {d_rew:15.2f}")
# trial   delta at cue   delta at reward
#     1           0.00              1.00
#    10           0.00              0.39
#    50           0.02              0.01
#   100           0.54              0.00
#   300           1.00              0.00
# omit            1.00             -1.00
单个试次内的预测误差。左：学习之前，误差出现在奖赏到来时。中：学习之后，误差移到了提示信号上，奖赏本身不再产生误差。右：预期中的奖赏被扣下时，提示处的误差仍在，奖赏应到之时出现一个负误差。

这张表里有三个事实，对后面的一切都很重要。

被预测到的奖赏不产生信号。到第 300 次，果汁和第 1 次一样甜，模拟中的猴子得到的奖赏也完全一样。但那一刻的预测误差是零。果汁什么都没变；变的是它不再是新闻。

信号转移到预示奖赏的东西上。兴奋现在属于提示信号。换成人的语言，它属于门口钥匙转动的声音、屏幕上跳出的名字、早已计划好的那个晚上。

预期中的奖赏没有到来，产生负信号。学会之前，没有果汁就只是没有果汁；学会之后，没有果汁就成了损失。

想要不等于喜欢

人们很容易把多巴胺叫做「快乐物质」。证据并不支持这种说法。

证据

肯特·贝里奇（Kent Berridge）和特里·罗宾逊（Terry Robinson）在 1998 年综述了相关实验，结论是：多巴胺不是奖赏带来的快乐（「喜欢」）所必需的，而是追求奖赏的动机（「想要」）所必需的，他们称之为诱因显著性。多巴胺几乎被耗尽的大鼠，不再为甜食付出努力，但把糖放进它们嘴里时，它们仍然表现出代表享受的面部反应 (Berridge and Robinson 1998)。

这个区分是理解本章其余部分的钥匙。预测误差驱动学习和「想要」，但它并不度量一样东西有多好。一段长久的婚姻可以充满「喜欢」，充满安心、温暖和信任，同时几乎不再产生最初几个月里那种多巴胺信号。两者可以分开。

扫描仪里的爱情

证据

处于强烈热恋最初几个月的人，看着恋人的照片时，脑成像显示腹侧被盖区和尾状核出现活动，这是奖赏系统中多巴胺丰富的区域 (Aron et al. 2005)。后来一项研究考察平均已婚约二十年、仍自述深爱配偶的人，发现同样的奖赏区域有活动，同时还有与依恋和平静相关的区域参与 (Acevedo et al. 2012)。

第二项研究很重要。它表明长久的爱不一定只剩习惯：在一些伴侣中，几十年后奖赏系统依然对对方有反应。问题是这些伴侣做了什么不一样的事，而预测误差模型提示了该往哪里看。

同样的快乐为什么会变淡

证据

人对好运和厄运的适应，都比自己预想的要强。一项经典研究发现，彩票中奖者并不比没中奖的人明显更幸福，而且从日常活动中得到的乐趣更少 (Brickman, Coates, and Janoff-Bulman 1978)。德国一项追踪数万人十五年的社会经济面板调查显示，生活满意度平均在结婚前后上升，然后回落到接近原来的水平，不过个体之间差异很大 (Lucas et al. 2003)。

学习规则解释了原因。如果一件好事日复一日以同样的形式到来，预期就会追上它，伴随它的预测误差会缩小到零。

推导

最简单的版本：每天带来平均为 1 的奖赏，预期 EE 以每天 α=0.05\alpha = 0.05 的速度学习，当天的预测误差为 δ=r−E\delta = r – E。第一次运行中每天都一样；第二次，每天围绕同一个平均值上下波动。

import random
from math import log

alpha = 0.05                       # 预期追上来的速度（每天）
print(f"half-life of the surprise: {log(2) / -log(1 - alpha):.1f} days")

def run(days, sd, seed=7):
    rng = random.Random(seed)
    E, out = 0.0, []
    for day in range(days):
        r = 1.0 + rng.gauss(0, sd)       # 这一天实际带来的（平均为 1）
        delta = r - E                    # 预测误差
        E += alpha * delta
        out.append(delta)
    return out

for sd in (0.0, 0.5):
    d = run(365, sd)
    last = d[-90:]
    pos = sum(x for x in last if x > 0) / len(last)
    print(f"sd = {sd}: day 1 {d[0]:.2f}, day 30 {d[29]:.2f} | last 90 days: "
          f"mean delta {sum(last) / len(last):+.2f}, mean positive surprise {pos:.2f}")
# half-life of the surprise: 13.5 days
# sd = 0.0: day 1 1.00, day 30 0.23 | last 90 days: mean delta +0.00, mean positive surprise 0.00
# sd = 0.5: day 1 0.87, day 30 0.81 | last 90 days: mean delta +0.01, mean positive surprise 0.24

这些数字只是示意；没有人知道一颗人心真实的学习率，它在不同的人、不同的快乐之间肯定不一样。但曲线的形状是普遍的。每天都一样时，惊喜衰减到零；每天有变化时，惊喜永远不会消失。平均来说它仍然是零，因为一个平均而言预测正确的学习者，不可能平均而言总被惊喜，但正向的惊喜会不断出现，这里大约每天四分之一个「单位」，由负向的失望抵消。

这就是欲望老老实实的算术：变化不会抬高平均值，它让信号保持活着。而且它是双向的：一种不断带来惊喜的生活，也会不断带来失望。

证据

肯农·谢尔登（Kennon Sheldon）与索尼娅·柳博米尔斯基（Sonja Lyubomirsky）的「享乐适应预防模型」认为：如果一项积极的改变能持续带来多样的体验，人们又持续欣赏它而不是视为理所当然，它带来的收益就能维持得更久；他们的追踪研究支持了这两点 (Sheldon and Lyubomirsky 2012)。凯瑟琳·雅各布斯·鲍（Katherine Jacobs Bao）与柳博米尔斯基后来把这个模型用于亲密关系，提出用多样性、惊喜和欣赏来减缓对伴侣的适应 (Bao and Lyubomirsky 2013)。

惊喜的终结意味着什么

把这些拼在一起，第一章所说的「冷却」就有了新的意义。

假说 · 尚未验证 · 欲望的转移

在一段长久的关系里，伴侣并没有不再令人愉快，而是这种愉快变得可以预测了。按照学习规则，多巴胺信号从伴侣的行为转移到预示这些行为的线索上；当一切都可以预测时，两者上面的信号都会消退。由此得出三个推论，每一个都可以检验：

  1. 不对称。在一段可预测的关系中，一个习惯性的体贴举动被省略所造成的损失，应当大于同样的举动在意料之外被加上所带来的收益；惯例持续越久、越规律，这种不对称应当越大。
  2. 喜欢而不想要。多年下来，温暖和信任（「喜欢」）的测量值，应当比欲望和期待（「想要」）的测量值下降得少得多。
  3. 变化恢复信号。如果一对伴侣的共同生活不断产生多样、不可预测的积极体验，他们「想要」的测量值应当下降得更慢，但平均情绪不一定更高。

如果省略和增加带来的感受是对称的，或者「喜欢」和「想要」以同样速度下降，这个假说就是错的。

这个模型也解释了一个常见的陷阱。如果欲望的信号是预测误差，那么要找回它有两条路。一条是让共同的生活更丰富、更难预测。另一条是去找一个还没被学会的新奖赏来源：新的伴侣、新的屏幕、新的信息流。第二条路确实有效，但只是短暂有效，原因恰恰和第一位伴侣「不再管用」的原因一样：新的来源还没被预测到。然后同样的算术会追上它。

注

这些都是模型，而且是简单的模型。多巴胺除了报告预测误差还做很多事，爱情除了多巴胺还涉及很多脑系统，任何人的感情也都不是一项强化学习任务。这套算术的意义不在于把爱化约成一个数字，而在于说明：一种熟悉的伤感，也就是兴奋的消退，来自任何学习系统的工作方式，并不证明关系里的人出了什么问题。

第三章接着问下一个问题：如果兴奋会消退、注意力会摊开，那么一个有序的系统，一个细胞、一团火焰或一对伴侣，究竟靠什么保持自己的形态？

参考文献

Acevedo, Bianca P., Arthur Aron, Helen E. Fisher, and Lucy L. Brown. 2012. “Neural Correlates of Long-Term Intense Romantic Love.” Social Cognitive and Affective Neuroscience 7 (2): 145–59.
Aron, Arthur, Helen Fisher, Debra J. Mashek, Greg Strong, Haifang Li, and Lucy L. Brown. 2005. “Reward, Motivation, and Emotion Systems Associated with Early-Stage Intense Romantic Love.” Journal of Neurophysiology 94 (1): 327–37.
Bao, Katherine Jacobs, and Sonja Lyubomirsky. 2013. “Making It Last: Combating Hedonic Adaptation in Romantic Relationships.” The Journal of Positive Psychology 8 (3): 196–206.
Berridge, Kent C., and Terry E. Robinson. 1998. “What Is the Role of Dopamine in Reward: Hedonic Impact, Reward Learning, or Incentive Salience?” Brain Research Reviews 28 (3): 309–69.
Brickman, Philip, Dan Coates, and Ronnie Janoff-Bulman. 1978. “Lottery Winners and Accident Victims: Is Happiness Relative?” Journal of Personality and Social Psychology 36 (8): 917–27.
Lucas, Richard E., Andrew E. Clark, Yannis Georgellis, and Ed Diener. 2003. “Reexamining Adaptation and the Set Point Model of Happiness: Reactions to Changes in Marital Status.” Journal of Personality and Social Psychology 84 (3): 527–39.
Rescorla, Robert A., and Allan R. Wagner. 1972. “A Theory of Pavlovian Conditioning: Variations in the Effectiveness of Reinforcement and Nonreinforcement.” In Classical Conditioning II: Current Research and Theory, edited by Abraham H. Black and William F. Prokasy, 64–99. New York: Appleton-Century-Crofts.
Schultz, Wolfram. 2016. “Dopamine Reward Prediction Error Coding.” Dialogues in Clinical Neuroscience 18 (1): 23–32.
Schultz, Wolfram, Peter Dayan, and P. Read Montague. 1997. “A Neural Substrate of Prediction and Reward.” Science 275 (5306): 1593–99.
Sheldon, Kennon M., and Sonja Lyubomirsky. 2012. “The Challenge of Staying Happier: Testing the Hedonic Adaptation Prevention Model.” Personality and Social Psychology Bulletin 38 (5): 670–80.
Sutton, Richard S., and Andrew G. Barto. 2018. Reinforcement Learning: An Introduction. 2nd ed. Cambridge, MA: MIT Press.

Fan, Y. (2026). The Thermodynamics of Desire: Entropy, Dopamine Prediction Error and Dissipative Structures in Human Bonds [欲望的热力学] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23682498 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).