5D Library › 计算美学、视觉显著性图谱与人机界面认知工程 · English

第四章 注视怎样移动:中央偏差、扫视与返回抑制

显著性图只是一张静态的「哪里突出」的地图。真实的观看是一连串离散的事件:眼睛在一处停留(注视)两三百毫秒,然后以极快的速度跳到另一处(扫视),再停留。本章讨论三个问题:底层显著性能解释多少注视的分布?注视的时间结构是什么样的?返回抑制在一条扫视轨迹中起什么作用?

注视与扫视的基本数字

雷纳 2009 年在巴特利特讲座的文章中总结了阅读、场景知觉与视觉搜索中的眼动参数 (Rayner 2009):默读时平均注视时间约 225–250 毫秒,扫视约 2 度(7–9 个字母);朗读时注视约 275–325 毫秒;场景知觉中注视约 260–330 毫秒,扫视约 4–5 度;视觉搜索中注视约 180–275 毫秒,扫视约 3 度。他特别指出,场景知觉与视觉搜索的数值高度依赖具体任务。作者框架中「注视持续约 200–300 毫秒」的说法大体落在这些范围之内,但应写成「依任务而异,常见范围约 180–330 毫秒」。

扫视的幅度、持续时间与峰值速度之间有稳定的关系,巴希尔、克拉克与斯塔克 1975 年称之为「主序列」(Bahill et al. 1975):在约 15–20 度以内,峰值速度近似随幅度线性增加,更大的扫视速度趋于饱和;扫视持续时间也随幅度增加,阅读中的小扫视只有 20–30 毫秒。本章的程序用一个常见的线性近似「持续时间 = 21 + 2.2 × 幅度(度)毫秒」,这是一个假设,不是本书核对过的原始数据。

中央偏差与任务:显著性能解释多少

塔特勒 2007 年发现,观察者在看场景图片时有强烈的「中央偏差」:注视集中在图像中央,而且这种偏差在很大程度上独立于图像内容中特征的分布,也独立于观看任务 (Tatler 2007)。网页上还有左上偏差与阅读顺序的影响。尼尔森 2006 年根据 232 名用户的眼动记录描述了「F 形」浏览模式:先在页面上方横向扫过,再在稍下方做一次较短的横扫,然后沿左侧纵向扫视 (Nielsen 2006)。原文自己说明,这是一种主导趋势而不是普遍规律:商品页上大图会把第二横推低,用户还会集中看价格与「加入购物车」区域;搜索结果页上第二横可能比第一横更长。所以 F 形应视为「在以文字为主、用户在扫读时」的条件性描述。

为了说明这些因素叠加时底层显著性还能解释多少,下面的程序是作者的模型:40 位合成观察者在第三章版式 A 的页面上各注视 12 次,每次注视的位置从四张图的混合中抽取——底层显著性(权重 0.25)、中央偏差(以页面中心为峰的高斯,权重 0.25)、任务图(任务是「找价格」,价格在正文区域,权重 0.35)与左上阅读偏差(权重 0.15)。然后用两种常用的指标评价不同的预测图:NSS(注视点处标准化显著性的均值,0 为随机)与 AUC(被注视位置的预测值高于随机位置的概率,0.5 为随机)。

推导

# How much of a fixation map can bottom-up saliency explain? Synthetic observers
# (the author's model) on the 16 x 12 saliency map of p06, layout A. Each observer's
# fixation density is a mixture: w_s * saliency + w_c * centre bias (Gaussian,
# sd = 1/4 of the page; Tatler 2007) + w_t * task map (here: "find the price", which
# lives in the body-text block) + w_l * top-left reading bias. 40 observers x 12
# fixations are sampled from the true mixture (w_s, w_c, w_t, w_l) = (.25, .25, .35, .15).
# Scores: NSS (mean normalised saliency at fixations) and AUC (fixated vs all cells).
import math, random, statistics, importlib.util, io, contextlib, pathlib, sys
sys.dont_write_bytecode = True

spec = importlib.util.spec_from_file_location("p06", pathlib.Path(__file__).with_name(
    "p06_itti_koch.py"))
p06 = importlib.util.module_from_spec(spec)
with contextlib.redirect_stdout(io.StringIO()):
    spec.loader.exec_module(p06)
SAL, _ = p06.saliency(p06.page((.85, .1, .1)))
CELLS = [(x, y) for y in range(12) for x in range(16)]

def norm(m):
    t = sum(m[y][x] for x, y in CELLS)
    return [[m[y][x] / t for x in range(16)] for y in range(12)]

CENTRE = norm([[math.exp(-((x - 7.5) / 4) ** 2 / 2 - ((y - 5.5) / 3) ** 2 / 2)
                for x in range(16)] for y in range(12)])
TASK = norm([[1.0 if p06.label(x, y) == "body text" else 0.02 for x in range(16)]
             for y in range(12)])
TOPLEFT = norm([[math.exp(-(x + y) / 4) for x in range(16)] for y in range(12)])
SALN = norm(SAL)

def mix(w):
    maps = (SALN, CENTRE, TASK, TOPLEFT)
    return [[sum(wi * m[y][x] for wi, m in zip(w, maps)) for x in range(16)]
            for y in range(12)]

def sample(rng, m, k):
    cum, t = [], 0.0
    for x, y in CELLS:
        t += m[y][x]; cum.append(t)
    out = []
    for _ in range(k):
        u = rng.random() * t
        out.append(CELLS[next(i for i, c in enumerate(cum) if c >= u)])
    return out

def nss(m, fix):
    v = [m[y][x] for x, y in CELLS]; mu = statistics.fmean(v)
    sd = math.sqrt(math.fsum((a - mu) ** 2 for a in v) / len(v))
    return statistics.fmean((m[y][x] - mu) / sd for x, y in fix)

def auc(m, fix):
    allv = [m[y][x] for x, y in CELLS]; pos = [m[y][x] for x, y in fix]
    return statistics.fmean((sum(p > a for a in allv) + 0.5 * sum(p == a for a in allv))
                            / len(allv) for p in pos)

if __name__ == "__main__":
    rng = random.Random(2007); TRUE = (.25, .25, .35, .15)
    fix = [f for _ in range(40) for f in sample(rng, mix(TRUE), 12)]
    print(f"{len(fix)} fixations from 40 synthetic observers (true mixture {TRUE})")
    print("   predictor                         NSS    AUC")
    for lab, w in (("bottom-up saliency only", (1, 0, 0, 0)),
                   ("centre bias only", (0, 1, 0, 0)),
                   ("saliency + centre", (.5, .5, 0, 0)),
                   ("task map only", (0, 0, 1, 0)), ("true mixture", TRUE)):
        m = mix(w)
        print(f"   {lab:32s} {nss(m, fix):5.2f}  {auc(m, fix):5.3f}")
    print(f"   {'uniform map (chance)':32s} {0:5.2f}  {0.5:5.3f}")
    for el in ("body text", "CTA button"):
        cells = sum(p06.label(x, y) == el for x, y in CELLS)
        share = statistics.fmean(p06.label(x, y) == el for x, y in fix)
        print(f"   {el:10s}: {share:.3f} of fixations, {cells} cells ="
              f" {cells / len(CELLS):.3f} of the page")
# 480 fixations from 40 synthetic observers (true mixture (0.25, 0.25, 0.35, 0.15))
#    predictor                         NSS    AUC
#    bottom-up saliency only           0.23  0.572
#    centre bias only                  0.19  0.564
#    saliency + centre                 0.25  0.587
#    task map only                     1.02  0.595
#    true mixture                      1.06  0.674
#    uniform map (chance)              0.00  0.500
#    body text : 0.227 of fixations, 7 cells = 0.036 of the page
#    CTA button: 0.033 of fixations, 4 cells = 0.021 of the page

在 480 次注视上,单纯的底层显著性得到 NSS 0.23、AUC 0.572;单纯的中央偏差为 0.19 与 0.564,与显著性相差无几;二者等权混合为 0.25 与 0.587。只知道任务(价格在正文区)的预测图得到 NSS 1.02、AUC 0.595,按 NSS 是底层显著性的四倍多。用真实的混合权重预测,也只有 NSS 1.06、AUC 0.674——因为每次注视都有随机性,任何预测图都有上限。CTA 按钮得到 3.3% 的注视,而它只占页面面积的 2.1%(4 个单元):显著性确实把一些注视拉到了按钮上。任务区(正文,7 个单元)只占页面面积的 3.6%,却得到 22.7% 的注视,是其面积份额的六倍多,远多于 CTA。这与模型的设定一致:任务图在混合中的权重是 0.35,所以任务区得到的是一个大份额,而不是绝大多数注视。

这当然是一个按假设构造的例子,混合权重是作者设定的,不是测量值;它的作用是说明一个结构性的事实:当注视由几种来源共同决定时,只用其中一种来源预测,成绩会很平庸,而中央偏差这种与内容无关的基线,可能与精心计算的显著性图不相上下。这与博尔吉与伊蒂综述中的观察一致 (Borji and Itti 2013)。

返回抑制与扫视轨迹

波斯纳与科恩 1984 年发现,当注意被一个外周线索吸引到某个位置后,在线索出现后的短时间内,那个位置的目标检测更快(易化);但大约 300 毫秒之后,同一位置的检测反而变慢 (Posner and Cohen 1984);后续研究显示这种抑制可以持续数秒 (Klein 2000)。克莱因 2000 年的综述把这一「返回抑制」解释为一种促进搜索的机制:它使注意不容易回到刚检查过的位置,从而偏向新的位置 (Klein 2000)。伊蒂—科赫模型中的返回抑制正是这一思想的计算版本:没有它,胜者全得网络会永远停留在最显著的位置上。

下面的程序把第三章的显著性图变成一条有时间的扫视轨迹(作者的模型):页面在视野中宽 30 度;每次注视的时长服从均值 250 毫秒、标准差 100 毫秒的伽马分布;扫视时长按上述主序列近似计算;每次转移到不在抑制中的最显著位置;被注视位置周围半径 2 个单元的区域受抑制,抑制在 τ\tau 毫秒后解除(τ\tau 为无穷大即永久抑制,τ=0\tau = 0 即没有返回抑制)。为了让观察者之间有差别,每位观察者看到的显著性图乘以一个随机因子 (1+0.25z)(1 + 0.25z)(zz 为标准正态,每个位置独立、每位观察者固定)。

推导

# From a saliency map to a timed scanpath (the author's model). Saliency maps of p06
# (layouts A and B). The page is shown 30 deg wide (16 cells: 1.875 deg per cell).
# Each shift goes to the most salient cell not under inhibition (IOR radius 2 cells);
# inhibition recovers after a fixed time tau (tau = infinity: permanent IOR; 0: none).
# Fixation durations: gamma, mean 250 ms, sd 100 ms (within the 180-330 ms task ranges
# summarised by Rayner 2009); saccade duration 21 + 2.2 A ms for amplitude A in deg
# (a common linear main-sequence approximation; an assumption here). Viewers differ:
# each sees the map times (1 + 0.25 z) per cell, z standard normal, fixed per viewer.
import random, statistics, importlib.util, io, contextlib, pathlib, sys
sys.dont_write_bytecode = True
spec = importlib.util.spec_from_file_location("p06", pathlib.Path(__file__).with_name(
    "p06_itti_koch.py"))
p06 = importlib.util.module_from_spec(spec)
with contextlib.redirect_stdout(io.StringIO()):
    spec.loader.exec_module(p06)
DEG, R = 30 / 16, 2
CELLS = [(i, j) for j in range(12) for i in range(16)]
NEAR = {c: [d for d in CELLS if (c[0] - d[0]) ** 2 + (c[1] - d[1]) ** 2 <= R * R]
        for c in CELLS}
LAB = {c: p06.label(*c) for c in CELLS}

def run(S, rng, tau, horizon=3000.0, start=(7, 5), noise=0.25):
    S = {(i, j): S[j][i] * (1 + noise * rng.gauss(0, 1)) for i, j in CELLS}
    t, (x, y), until, path = 0.0, start, {}, []
    while t < horizon:
        t += rng.gammavariate(6.25, 40.0)              # fixation: mean 250, sd 100
        for d in NEAR[(x, y)]:
            until[d] = t + tau                         # inhibited until this time
        free = [c for c in CELLS if until.get(c, -1.0) <= t]
        if not free:
            break
        i, j = max(free, key=S.get)
        amp = DEG * ((i - x) ** 2 + (j - y) ** 2) ** 0.5
        t += 21 + 2.2 * amp; x, y = i, j; path.append((t, LAB[(x, y)], amp))
    return path

if __name__ == "__main__":
    maps = {k: p06.saliency(p06.page(c))[0] for k, c in (("A", (.85, .1, .1)),
                                                         ("B", (.35, .35, .35)))}
    for k in ("A", "B"):
        print(f"layout {k}, noise-free viewer: first 6 fixations"
              " (arrival ms, element, saccade deg)")
        p = run(maps[k], random.Random(1975), float("inf"), noise=0.0)
        print("   " + "; ".join(f"{t:.0f} {lab} {a:.1f}" for t, lab, a in p[:3]))
        print("   " + "; ".join(f"{t:.0f} {lab} {a:.1f}" for t, lab, a in p[3:6]))
    print("time to first fixation on the CTA, 500 simulated viewers, 3 s horizon")
    print("   IOR recovery tau   layout A: median  found   layout B: median  found")
    for tau in (float("inf"), 900.0, 300.0, 0.0):
        row = []
        for k in ("A", "B"):
            hits = []
            for v in range(500):
                p = run(maps[k], random.Random(v), tau)
                hits.append(next((t for t, lab, _ in p if lab == "CTA button"), None))
            ok = [h for h in hits if h is not None]
            med = f"{statistics.median(ok):6.0f}" if ok else "     -"
            row.append(f"{med} ms {len(ok) / 500:6.1%}")
        lab = "permanent" if tau == float("inf") else f"{tau:.0f} ms"
        print(f"   {lab:16s}   {row[0]:>21s}   {row[1]:>21s}")
    stuck = run(maps["B"], random.Random(3), 0.0)
    n = len(set(lab for _, lab, _ in stuck))
    print(f"   without IOR (tau 0) a layout-B viewer stays put: {len(stuck)} fixations,"
          f" {n} element(s)")
# layout A, noise-free viewer: first 6 fixations (arrival ms, element, saccade deg)
#    247 CTA button 7.5; 484 logo 21.0; 815 hero photo 9.4
#    1163 hero photo 4.2; 1469 white space 10.1; 1637 hero photo 15.0
# layout B, noise-free viewer: first 6 fixations (arrival ms, element, saccade deg)
#    262 logo 14.6; 475 hero photo 9.6; 794 hero photo 4.2
#    1146 hero photo 5.9; 1455 hero photo 11.4; 1608 white space 8.4
# time to first fixation on the CTA, 500 simulated viewers, 3 s horizon
#    IOR recovery tau   layout A: median  found   layout B: median  found
#    permanent                  292 ms  94.8%          2980 ms   5.0%
#    900 ms                     300 ms  99.8%          1970 ms   3.6%
#    300 ms                     298 ms  99.0%          1118 ms   0.4%
#    0 ms                       279 ms  95.6%             - ms   0.0%
#    without IOR (tau 0) a layout-B viewer stays put: 9 fixations, 1 element(s)

没有噪声的观察者在版式 A 上第一次注视就落在 CTA 上(247 毫秒到达,扫视 7.5 度),然后是 21.0 度的大扫视到标志,再回到主图;版式 B 上前六次注视依次是标志与主图,CTA 不在其中。500 位有噪声的观察者中,版式 A 在 3 秒内注视到 CTA 的比例在 94.8% 到 99.8% 之间,到达时间的中位数约 280–300 毫秒,即第一次或第二次注视;版式 B 只有 0.4% 到 5.0%,到达时间的中位数在 1 到 3 秒之间。返回抑制的时长对版式 A 几乎没有影响,因为 CTA 一开始就是最显著的;但对版式 B,抑制越短,注意越容易被拉回主图与标志,找到 CTA 的比例从永久抑制的 5.0% 降到 τ=300\tau = 300 毫秒时的 0.4%,没有返回抑制时为 0。最后一行显示了没有返回抑制的极端情形:一位版式 B 的观察者 9 次注视都停在同一个元素上。

注

模型与真实眼动的差距。 这个模型的每一步都是简化:真实的注视位置受任务、文字、阅读习惯与中央偏差影响(上一节);扫视有落点误差,常常落在目标之前;注视时长取决于当前位置的信息加工,而不是独立的随机数;返回抑制在真实观看中的作用比这里弱,人会回视。模型的用处是把「显著性高的元素会被更早注意」这句话变成可检验的数字,并显示这一预测对返回抑制参数的敏感程度,而不是预测某个真实页面上的注视时间。

假说 · 尚未验证 · 首次注视时间与点击时间的关系

作者的假说(尚未确立): 在「找到并点击」的任务中,目标按钮的首次注视时间解释了完成时间差异的一半以上;也就是说,第八章试验中若优化布局缩短了完成时间,大部分缩短来自更早注视到目标,而不是决策或指向。什么样的结果能证明它是错的: 在带眼动记录的子样本中,以首次注视时间为中介的间接效应占总效应的比例的置信区间上限低于 50%。

本章小结

注视时长依任务而异,常见范围约 180–330 毫秒(雷纳 2009),作者框架的「200–300 毫秒」应如此限定;扫视的幅度、时长与速度遵循主序列。在网页上,中央偏差、左上与阅读顺序、任务与文字都影响注视;F 形浏览是以文字为主、扫读时的条件性描述。作者的混合模型说明,当注视由几种来源共同决定时,只用底层显著性预测成绩平庸,与内容无关的中央偏差可以与之相当。返回抑制使注意离开已检查的位置;在模拟中,它对一个本来就最显著的按钮几乎没有影响,但对一个不显著的按钮,抑制越短,越难被找到。

参考文献

Bahill, A. Terry, Michael R. Clark, and Lawrence Stark. 1975. “The Main Sequence, a Tool for Studying Human Eye Movements.” Mathematical Biosciences 24 (3–4): 191–204.
Borji, Ali, and Laurent Itti. 2013. “State-of-the-Art in Visual Attention Modeling.” IEEE Transactions on Pattern Analysis and Machine Intelligence 35 (1): 185–207.
Klein, Raymond M. 2000. “Inhibition of Return.” Trends in Cognitive Sciences 4 (4): 138–47. https://doi.org/10.1016/S1364-6613(00)01452-2.
Nielsen, Jakob. 2006. F-Shaped Pattern for Reading Web Content. Alertbox column, 17 April 2006.
Posner, Michael I., and Yoav Cohen. 1984. “Components of Visual Orienting.” In Attention and Performance x: Control of Language Processes, edited by H. Bouma and D. G. Bouwhuis. Erlbaum.
Rayner, Keith. 2009. “Eye Movements and Attention in Reading, Scene Perception, and Visual Search.” Quarterly Journal of Experimental Psychology 62 (8): 1457–506. https://doi.org/10.1080/17470210902816461.
Tatler, Benjamin W. 2007. “The Central Fixation Bias in Scene Viewing: Selecting an Optimal Viewing Position Independently of Motor Biases and Image Feature Distributions.” Journal of Vision 7 (14): Article 4, 1–17.

Fan, Y. (2026). Computational Aesthetics, Visual Saliency Maps and Cognitive Ergonomics in User Interface Design: From the Hick–Hyman Law and Spatial Frequency Channels to Saccadic Trajectory Modelling, Read Beside the Kaogongji and Classical Treatise on Architectural Methods [计算美学、视觉显著性图谱与人机界面认知工程] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23836258 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).