5D Library › 欲望的热力学 · English

第五章 漏与不漏:注意力的能量账

一个古老的词,一个古老的问题

第三章介绍了佛教的「漏」(āsrava):心的能量借以向外流向对象的出口。佛教传统并不把它们当作小麻烦,漏的止息是整条修行之道的目标。

证据

在佛教关于修道的叙述中,诸漏的灭尽(āsravakṣaya,漏尽)标志着阿罗汉,即完成修学的人。知道诸漏已尽的智慧,被列为六神通(abhijñā)的最后一种,汉译「漏尽通」(Buswell and Lopez 2014)。「无漏」(anāsrava)描述的是不再滋养贪爱的心境与智慧。

原典

名与身孰亲?身与货孰多?得与亡孰病?是故甚爱必大费,多藏必厚亡。知足不辱,知止不殆,可以长久。(老子, n.d.)

白话(作者译):名声和生命,哪个更亲?生命和财货,哪个更重?得到和失去,哪个更有害?所以过分的贪爱必定付出大的耗费,过多的收藏必定招致重大的损失。知道满足就不会受辱,知道停止就不会危险,这样才能长久。(《道德经》第四十四章)

「甚爱必大费」,一句话就是一本能量账。本章试着把这本账写出来:用第二章的学习模型和第三章的驱动 μ=J−L−c\mu = J – L – c,并追问为什么一样现代的东西,智能手机,这么善于让注意力漏出去。

永远不会尘埃落定的强化程序

二十世纪五十年代,查尔斯·费斯特(Charles Ferster)与斯金纳(B. F. Skinner)研究了奖赏按不同程序到来时动物如何反应:每次反应都给,固定次数后给,固定时间后给,或者在不可预测的次数之后给。

证据

在可变比率程序下,奖赏在不可预测的反应次数之后到来,它产生高而稳定的反应率,奖赏停止后反应仍长久持续 (Ferster and Skinner 1957)。半个世纪后,克里斯托弗·菲奥里洛(Christopher Fiorillo)、菲利普·托布勒(Philippe Tobler)与舒尔茨发现,多巴胺神经元携带两种信号:一种短促的反应,随奖赏概率而变;另一种是等待不确定奖赏期间较慢的持续激活,在有奖与无奖可能性相等时最强 (Fiorillo, Tobler, and Schultz 2003)。

第二章的学习规则说明了为什么不可预测的奖赏永远不会「尘埃落定」。如果奖赏以概率 pp 到来,学习者的预测会收敛到 pp,奖赏来了预测误差是 1−p1-p,没来是 −p-p。误差的平均大小是 2p(1−p)2p(1-p),只有 pp 为 0 或 1 时才为零。

推导

import random

rng = random.Random(1)
alpha = 0.05
print("reward probability   learned value   mean |delta| (last 2000 trials)   2p(1-p)")
for p in (1.0, 0.9, 0.5, 0.25, 0.1):
    V, errs = 0.0, []
    for t in range(6000):
        r = 1.0 if rng.random() < p else 0.0
        d = r - V
        V += alpha * d
        if t >= 4000:
            errs.append(abs(d))
    print(f"{p:18.2f}   {V:13.2f}   {sum(errs) / len(errs):31.2f}   {2 * p * (1 - p):7.2f}")
# reward probability   learned value   mean |delta| (last 2000 trials)   2p(1-p)
#               1.00            1.00                              0.00      0.00
#               0.90            0.95                              0.19      0.18
#               0.50            0.55                              0.50      0.50
#               0.25            0.27                              0.37      0.38
#               0.10            0.08                              0.18      0.18

一个可靠的奖赏来源,p=1p = 1,一旦学会就不再产生预测误差,这就是第二章所说的变淡。一个一半时候兑现的来源,永远不会停止产生误差:第一万次和第一百次一样大。一个偶尔推送精彩内容的信息流,一条可能很重要的消息,一个可能是好消息的通知:每一个都是可变比率程序,每一个都让学习机器无限期地运转下去。

一个不确定的奖赏怎样占领一个晚上

第四章说明了,健康的心智看重信息:它被自己不确定的东西吸引,因为消除不确定是有用的。强化学习模型常把这一点写成探索奖励:一个选项的吸引力,等于它的期望价值加上一个随学习者对它的不确定程度而增大的奖励。

对大多数事物来说,这个奖励会自我消退。一家新餐馆去几次,不确定就消除了,奖励随之消失。可变比率来源不同:它的不确定不是可以减少的无知,而是程序本身设定的。奖励永远不会消失。

推导

三小时的晚上按分钟划分。每一分钟,注意力要么给伴侣,要么给手机。伴侣稳定地带来奖赏(每分钟 0.3)。手机以 0.15 的概率给出 1.0,平均每分钟只有 0.15。学习者跟踪每个选项的价值和它的预测误差有多大,按「价值加上 κ\kappa 乘以这种不确定性」越大越可能被选的方式做选择。学习三十个晚上之后,报告最后一个晚上,并附上第一章的注意力香农熵。

import math, random
from math import log2

def evening(phone_available, kappa, seed=3, minutes=180):
    """Each minute, attend to the partner or the phone. The partner is reliably rewarding (0.3 per minute);
    the phone pays 1.0 with probability 0.15 (mean 0.15). kappa = how strongly unresolved uncertainty attracts."""
    rng = random.Random(seed)
    Q = {"partner": 0.0, "phone": 0.0}       # learned value per minute
    U = {"partner": 0.0, "phone": 0.0}       # running mean of squared prediction error
    use = {"partner": 0, "phone": 0}
    switches, last = 0, None
    for day in range(30):                    # thirty evenings of learning; report the last one
        use = {"partner": 0, "phone": 0}
        switches, last = 0, None
        for m in range(minutes):
            options = ["partner", "phone"] if phone_available else ["partner"]
            w = [math.exp(8 * (Q[o] + kappa * U[o] ** 0.5)) for o in options]
            o = rng.choices(options, weights=w)[0]
            r = 0.3 if o == "partner" else (1.0 if rng.random() < 0.15 else 0.0)
            d = r - Q[o]
            Q[o] += 0.05 * d
            U[o] += 0.05 * (d * d - U[o])
            use[o] += 1
            switches += (last is not None and o != last)
            last = o
    p = [use[o] / minutes for o in use if use[o]]
    H = 0.0 - sum(x * log2(x) for x in p)
    return use["partner"], use["phone"], switches, H

print(f"{'scenario':38s} partner  phone  switches   H (bits)")
for name, avail, kappa in (("phone present, no pull of uncertainty", True, 0.0),
                           ("phone present, uncertainty attracts", True, 0.6),
                           ("phone in another room", False, 0.6)):
    a, b, s, H = evening(avail, kappa)
    print(f"{name:38s} {a:5d}  {b:5d}  {s:8d}   {H:8.2f}")
# scenario                               partner  phone  switches   H (bits)
# phone present, no pull of uncertainty    134     46        65       0.82
# phone present, uncertainty attracts       68    112        75       0.96
# phone in another room                    180      0         0       0.00
学习三十个晚上之后,在模拟的三种情形下,一个 180 分钟的晚上是怎样度过的。手机的平均奖赏只有伴侣的一半,然而一旦未消除的不确定性会吸引注意力,手机就拿走了晚上的大部分。

即使完全没有不确定性的拉力(κ=0\kappa = 0),也有一些分钟给了手机:按概率做选择总会抽样到其他选项。但一旦不确定性会吸引注意,手机就拿走了 180 分钟里的 112 分钟,尽管它的平均奖赏只有伴侣的一半。伴侣并没有变得不那么令人愉快。伴侣只是变得已知了,而手机永远不会。手机放到另一个房间时,漏出为零,晚上的熵降到零比特。

假说 · 尚未验证 · 伪造的信息

可变比率来源利用了心智对信息的健康胃口。在学习机器看来,它的不确定像是还有东西可学,但查看它从不减少这种不确定:它只提供预测误差,不提供信息增益。用第四章的话说,它提供的是伪造的认识价值。由此预测:这类来源的吸引力,在真实认识价值最低的人和情境中应当最强,例如在共同生活已变得完全可预测的关系里;而在关系中加入真实、可学习的新奇,即便不立任何手机规矩,也应当减少花在这类来源上的时间。

证据:餐桌上的手机

证据

在一项现场实验中,与朋友或家人用餐时把手机放在桌上的人,比把手机收起来的人对这顿饭的享受略少,也觉得更分心 (Dwyer, Kushlev, and Dunn 2018)。在对处于恋爱关系中的成年人的调查里,被伴侣因手机而冷落(phubbing)与更多关于手机使用的冲突、更低的关系满意度相关 (Roberts and David 2016)。

注

这些研究中的效应不大,而调查结果是相关关系:它们不能说明是用手机降低了满意度,而不是反过来。它们与本章的模型一致,但并不证明它。第八章提出了一个能区分这两个方向的检验。

这本账

把这些合起来,就成了一本伴侣真能记下来的账。每个晚上记下:

项目 记什么 在 μ=J−L−c\mu = J – L – c 中的作用
共同分钟 两人一起专注于同一件事的分钟数 计入 JJ
新奇 这个晚上有没有一次新的、可学习的共同经历? 计入 JJ
修复 有摩擦之后,到两人都恢复如常用了多少分钟 保护 xx(第六章)
漏出分钟 受保护时间里花在屏幕上的分钟 LL
拿起次数 拿起手机的次数 LL
熵 这个晚上注意力分布的香农熵(比特) 随 LL 上升

这张表不是给爱情打分的系统,也不该拿来指责伴侣。它是让一股看不见的流变得看得见的办法。大多数人都低估了自己漏出的分钟,原因和模拟中的学习者察觉不到自己的漂移一样:没有哪一分钟让人觉得是一个选择。

假说 · 尚未验证

在提高驱动 μ\mu 的两种办法中,减少漏出 LL 往往比增加流入 JJ 更便宜。一个受保护的小时,代价只是一个决定;一个新奇的周末,则要花计划、金钱和精力。如果模型是对的,每晚一个受保护的小时,对欲望和亲密的作用应当至少不亚于每周一次新奇活动。第八章检验的正是这个比较。

《道德经》那一章以「知止不殆,可以长久」作结。透过这本账来读,它不是要人弃绝快乐,而是一个观察:一股无限外漏的流维持不了任何结构;最便宜的负熵,往往是那个不让它漏掉的口子。

参考文献

Buswell, Jr., Robert E., and Jr. Lopez Donald S. 2014. The Princeton Dictionary of Buddhism. Princeton: Princeton University Press.
Dwyer, Ryan J., Kostadin Kushlev, and Elizabeth W. Dunn. 2018. “Smartphone Use Undermines Enjoyment of Face-to-Face Social Interactions.” Journal of Experimental Social Psychology 78: 233–39.
Ferster, Charles B., and B. F. Skinner. 1957. Schedules of Reinforcement. New York: Appleton-Century-Crofts.
Fiorillo, Christopher D., Philippe N. Tobler, and Wolfram Schultz. 2003. “Discrete Coding of Reward Probability and Uncertainty by Dopamine Neurons.” Science 299 (5614): 1898–1902.
Roberts, James A., and Meredith E. David. 2016. “My Life Has Become a Major Distraction from My Cell Phone: Partner Phubbing and Relationship Satisfaction Among Romantic Partners.” Computers in Human Behavior 54: 134–41.
老子. n.d. 道德经.

Fan, Y. (2026). The Thermodynamics of Desire: Entropy, Dopamine Prediction Error and Dissipative Structures in Human Bonds [欲望的热力学] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23682498 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).