5D Library › 高频限价订单簿微观结构、霍克斯自激点过程与逆向选择毒流 · English
第三章 订单为什么成簇到来:霍克斯过程、签名图与埃普斯效应
泊松过程的不足
最简单的到达模型是泊松过程:订单以恒定的强度独立到来,任意两个不重叠时段内的笔数相互独立,笔数的方差等于均值。高频数据几乎从不这样:一笔成交之后,下一笔往往很快到来;一阵密集的交易之后是一段相对安静的时间。描述这种「成簇」的标准工具是霍克斯(Hawkes)1971 年提出的自激点过程 (Hawkes 1971)。巴克里(Bacry)、马斯特罗马泰奥(Mastromatteo)与米齐(Muzy)的综述介绍了它在金融中的各种用途:从成交数据估计波动率、评估市场稳定性、刻画系统性风险的传染、设计最优执行策略,以及描述整个订单簿的动力学 (Bacry et al. 2015)。
定义、分支比与平稳性
霍克斯过程的条件强度为
即每一个过去的事件都把当前的强度抬高一点,抬高的幅度随时间衰减。作者框架中的条件强度 正是指数核的情形。多维时,第 类事件的强度由所有类型的过去事件共同激发(「互激」)。
霍克斯与奥克斯 1974 年给出了它的分支(簇)表示 (Hawkes and Oakes 1974):「移民」事件以泊松强度 到来;每一个事件独立地产生若干「子代」,子代数服从均值为 的泊松分布,每个子代与其母代的时间间隔服从密度 。对指数核,,间隔服从参数为 的指数分布。 称为分支比:一个事件平均直接触发的事件数。
由分支表示立即得到几个结论。一个簇的平均大小为 ,只在 时有限;平稳状态下的平均强度为 ;在远长于 的窗口中,笔数的方差与均值之比(法诺因子)趋于 。所以作者框架中的平稳性判据 核对无误; 时簇的大小没有有限的期望,过程会「爆炸」。
推导
# Exponential Hawkes process lambda(t) = mu + sum_{t_i < t} alpha exp(-beta (t - t_i)),
# simulated through its cluster (branching) representation (Hawkes & Oakes 1974):
# immigrants arrive as Poisson(mu); every event has Poisson(eta) children
# (eta = alpha/beta), each after an Exp(beta) delay. Checks: mean rate mu/(1 - eta),
# cluster size 1/(1 - eta), Fano factor of counts in long windows -> 1/(1 - eta)^2;
# maximum likelihood; and a time-rescaling (residual) check of a Poisson fit against
# a Hawkes fit.
import math, random, statistics
def poisson(rng, m):
k, p, L = 0, rng.random(), math.exp(-m)
while p > L:
k += 1; p *= rng.random()
return k
def simulate(rng, mu, eta, beta, T):
ev, sizes, t = [], [], rng.expovariate(mu)
while t < T:
cluster, gen = [t], [t]
while gen:
nxt = []
for s in gen:
for _ in range(poisson(rng, eta)):
c = s + rng.expovariate(beta)
if c < T:
nxt.append(c)
cluster += nxt; gen = nxt
ev += cluster; sizes.append(len(cluster)); t += rng.expovariate(mu)
return sorted(ev), sizes
def loglik(th, ev, T):
mu, alpha, beta = th
if min(th) <= 0 or alpha >= beta:
return -1e18
ll, r, prev = 0.0, 0.0, None
for t in ev: # r = sum of exp(-beta (t - t_j)), t_j < t
if prev is not None:
r = (r + 1) * math.exp(-beta * (t - prev))
ll += math.log(mu + alpha * r); prev = t
comp = mu * T + alpha / beta * sum(1 - math.exp(-beta * (T - t)) for t in ev)
return ll - comp
def nelder_mead(f, x0, it=400):
n = len(x0)
pts = [list(x0)] + [[x * (1.3 if i == j else 1) for j, x in enumerate(x0)]
for i in range(n)]
for _ in range(it):
pts.sort(key=f); c = [sum(p[i] for p in pts[:-1]) / n for i in range(n)]
w = pts[-1]; r = [c[i] + (c[i] - w[i]) for i in range(n)]
if f(r) < f(pts[0]):
e = [c[i] + 2 * (c[i] - w[i]) for i in range(n)]
pts[-1] = e if f(e) < f(r) else r
elif f(r) < f(pts[-2]):
pts[-1] = r
else:
k = [c[i] + 0.5 * (w[i] - c[i]) for i in range(n)]
if f(k) < f(w):
pts[-1] = k
else:
pts = [pts[0]] + [[pts[0][i] + 0.5 * (p[i] - pts[0][i]) for i in range(n)]
for p in pts[1:]]
return min(pts, key=f)
def ks_exp(x): # KS distance to Exp(1)
x = sorted(x); n = len(x)
return max(max((i + 1) / n - (1 - math.exp(-v)), (1 - math.exp(-v)) - i / n)
for i, v in enumerate(x))
def rescaled(ev, mu, alpha, beta):
out, r, prev, Lprev = [], 0.0, None, 0.0
for t in ev: # compensator increments between events
if prev is None:
L = mu * t
else:
dec = 1 - math.exp(-beta * (t - prev))
L = Lprev + mu * (t - prev) + alpha / beta * (r + 1) * dec
r = (r + 1) * math.exp(-beta * (t - prev))
if prev is not None:
out.append(L - Lprev)
Lprev, prev = L, t
return out
if __name__ == "__main__":
rng = random.Random(1971); mu, beta, T, W = 0.5, 1.0, 40_000.0, 200.0
print("mu 0.5, beta 1.0, T 40,000 rate cluster size Fano (W=200)")
print(" eta simulated theory simulated theory simulated theory")
for eta in (0.3, 0.6, 0.8, 0.9):
ev, sz = simulate(rng, mu, eta, beta, T)
cnt = [0] * int(T / W)
for t in ev:
cnt[int(t / W)] += 1
fano = statistics.variance(cnt) / statistics.fmean(cnt)
print(f" {eta:.1f} {len(ev) / T:7.3f} {mu / (1 - eta):6.3f}"
f" {statistics.fmean(sz):7.2f} {1 / (1 - eta):5.2f}"
f" {fano:8.2f} {1 / (1 - eta) ** 2:6.2f}")
ev, _ = simulate(rng, 0.5, 0.8, 1.0, 5000.0)
th = nelder_mead(lambda p: -loglik(p, ev, 5000.0), [0.3, 0.3, 0.6])
print(f"MLE on T = 5,000 ({len(ev)} events; truth mu 0.5, alpha 0.8, beta 1.0):")
print(f" mu {th[0]:.3f}, alpha {th[1]:.3f}, beta {th[2]:.3f},"
f" branching ratio {th[1] / th[2]:.3f}")
lam = len(ev) / 5000.0
gaps = [lam * (b - a) for a, b in zip(ev, ev[1:])]
print(f"time-rescaling check (KS distance to Exp(1); 5 % critical value"
f" {1.358 / math.sqrt(len(gaps)):.3f}):")
ks_h = ks_exp(rescaled(ev, *th))
print(f" Poisson fit {ks_exp(gaps):.3f} Hawkes fit {ks_h:.3f}")
# mu 0.5, beta 1.0, T 40,000 rate cluster size Fano (W=200)
# eta simulated theory simulated theory simulated theory
# 0.3 0.713 0.714 1.43 1.43 1.90 2.04
# 0.6 1.270 1.250 2.51 2.50 5.88 6.25
# 0.8 2.529 2.500 5.04 5.00 22.24 25.00
# 0.9 5.102 5.000 10.19 10.00 97.05 100.00
# MLE on T = 5,000 (12292 events; truth mu 0.5, alpha 0.8, beta 1.0):
# mu 0.489, alpha 0.811, beta 1.013, branching ratio 0.801
# time-rescaling check (KS distance to Exp(1); 5 % critical value 0.012):
# Poisson fit 0.163 Hawkes fit 0.006程序用分支表示模拟了 、、四种分支比、长度 40,000 的样本。平均强度与簇大小都与理论一致(例如 时模拟强度 5.102、理论 5.000,簇大小 10.19 对 10.00)。法诺因子随 急剧上升: 时为 22.24(理论极限 25), 时为 97.05(极限 100)。模拟值都略低于极限,因为窗口长度 200 是有限的,窗口边缘的簇被截断。这说明了一个实际后果:接近临界时,即使平均到达率不变,一个时段内的笔数也可能远多于泊松模型的预期。
程序的后半部分用极大似然拟合一个 的样本(12,292 个事件),得到 、、,分支比 0.801。拟合是否充分,可以用时间重标度检验:若模型正确,相邻事件之间补偿量 应独立地服从均值为 1 的指数分布 (Ogata 1988)。泊松模型的柯尔莫哥洛夫—斯米尔诺夫距离为 0.163,远超 5% 临界值 0.012;霍克斯模型为 0.006,通过检验。奥加塔稀疏化模拟与极大似然估计的细节第 39 本已经讨论过,这里不重复。
证据
关于真实市场的分支比,第 39 本已有讨论,这里只回顾。菲利莫诺夫与索内特用指数核的霍克斯模型分析 E-mini 标普 500 期货,估计价格变动中由外生信息驱动的比例从 1998 年的约 70% 降到 2007 年以后的不到 30%,即内生(自激)部分上升 (Filimonov and Sornette 2012);哈迪曼、贝尔科与布绍改用幂律核分析 1998–2011 年的同一合约,发现核的积分在所有时期都接近 1,认为市场「一直」接近临界 (Hardiman et al. 2013);菲利莫诺夫与索内特随后指出,非平稳的基线强度、异常值与核形状的选择都会使分支比的估计偏向 1 (Filimonov and Sornette 2015)。第 39 本的程序也显示,没有自激、只有基线切换的数据可以拟合出 0.92 的分支比。所以「市场处于临界」是有争议的估计,不是定论。
微观结构噪声与签名图
用越来越高的频率计算已实现方差(区间收益平方和),常常发现它随采样频率上升而增大,而不是趋于一个稳定的值。把「已实现方差除以采样间隔」对采样间隔作图,就是签名图。张、迈克兰与艾特—萨哈利亚用「微观结构噪声」解释这一现象,并提出了用两个时间尺度的估计量来消除噪声偏差 (Zhang et al. 2005)。
证据
巴克里、德拉特、霍夫曼与米齐提出用互激点过程直接为噪声建模 (Bacry et al. 2013):价格是上涨次数减去下跌次数,,而一次上涨抬高随后下跌的强度、一次下跌抬高随后上涨的强度。这种交叉激发在短时间尺度上造成均值回复。对指数核 ,记 ,他们得到签名图的闭式表达
在小 处为 ,在大 处趋于扩散方差 。他们把模型推广到两项资产,让两项资产同方向的变动相互激发,从而在同一框架中再现了埃普斯效应。
埃普斯效应:高频下相关性消失
埃普斯 1979 年发现,股票收益之间的相关系数随计算收益所用的时间间隔缩短而下降:用日收益看高度相关的两只股票,用几分钟的收益看几乎不相关 (Epps 1979)。这是一个经验现象,它至少有两种不同的解释。第一种是非同步交易:两只股票的成交时刻不同,用「前一笔成交价」在固定网格上取价,会把一只股票已经反映、另一只还没来得及成交的信息算成不相关。第二种是微观结构动力学:例如上面的互激模型中,每项资产自身的均值回复在短时间尺度上把共同的变动「抵消」掉。作者框架把埃普斯效应写成「微观结构噪声协方差」,并只与霍克斯过程联系起来;更准确的说法是:互激霍克斯过程是解释埃普斯效应的一种模型,非同步交易是另一种,二者都能单独产生这一现象。
下面的程序分三部分:A 用互激过程模拟签名图并与闭式公式对照;B 在两项资产的互激模型中计算不同采样间隔下的相关系数;C 不用任何点过程结构,只让两条相关系数为 0.6 的布朗运动在独立的泊松时刻被观测(每单位时间 1 笔与 0.2 笔),比较前一笔取价法与林—吉田(Hayashi–Yoshida)估计量 (Hayashi and Yoshida 2005)。后者对两项资产所有重叠的成交区间求收益乘积之和,不需要把价格同步到网格上。
推导
# Microstructure noise and the Epps effect from point processes.
# A: Bacry et al. (2013): price X = N+ - N-, where an up-tick excites down-ticks and vice
# versa (kernel alpha exp(-beta t), norm G = alpha/beta). Their signature plot:
# C(tau) = L (k^2 + (1 - k^2)(1 - exp(-g tau))/(g tau)), L = 2mu/(1 - G),
# k = 1/(1 + G), g = alpha + beta. Compared with a simulation (cluster representation).
# B: two assets; same-direction ticks of the two assets excite each other (norm G13), plus
# each asset's own mean reversion (norm G12). Correlation of increments against scale.
# C: no point-process structure at all: two Brownian motions (rho 0.6) observed at
# independent Poisson times; previous-tick correlation against Hayashi-Yoshida (2005).
import bisect, math, random, statistics
def poisson(rng, m):
k, p, L = 0, rng.random(), math.exp(-m)
while p > L:
k += 1; p *= rng.random()
return k
def branching(rng, mu, G, beta, T):
"""G[k][j]: mean number of type-k children of a type-j event; returns (time, type)."""
n, ev = len(G), []
for j in range(n):
t = rng.expovariate(mu)
while t < T:
gen = [(t, j)]
while gen:
ev += gen; nxt = []
for s, a in gen:
for k in range(n):
for _ in range(poisson(rng, G[k][a])):
c = s + rng.expovariate(beta)
if c < T:
nxt.append((c, k))
gen = nxt
t += rng.expovariate(mu)
return sorted(ev)
def increments(ev, sign, tau, T):
"""increments of X = sum of signs over consecutive windows of length tau"""
ts = [e[0] for e in ev]; cum = [0]
for e in ev:
cum.append(cum[-1] + sign.get(e[1], 0))
x = [cum[bisect.bisect_right(ts, m * tau)] for m in range(int(T / tau) + 1)]
return [b - a for a, b in zip(x, x[1:])]
def incr(path, step):
return [b - a for a, b in zip(path[::step], path[step::step])]
if __name__ == "__main__":
rng = random.Random(2013)
mu, alpha, beta, T = 0.5, 0.6, 2.0, 400_000.0
G = alpha / beta; L = 2 * mu / (1 - G); kap = 1 / (1 + G); g = alpha + beta
ev = branching(rng, mu, [[0, G], [G, 0]], beta, T)
print(f"A signature plot, mu {mu}, alpha {alpha}, beta {beta} (norm {G}):"
f" {len(ev):,} ticks")
print(" tau 0.05 0.25 1 5 25 100")
sim = [statistics.fmean(d * d for d in increments(ev, {0: 1, 1: -1}, t, T)) / t
for t in (0.05, 0.25, 1, 5, 25, 100)]
th = [L * (kap ** 2 + (1 - kap ** 2) * (1 - math.exp(-g * t)) / (g * t))
for t in (0.05, 0.25, 1, 5, 25, 100)]
print(" simulated " + " ".join(f"{v:6.3f}" for v in sim))
print(" formula " + " ".join(f"{v:6.3f}" for v in th))
G12, G13, T2 = 0.3, 0.5, 60_000.0 # types: 1+, 1-, 2+, 2-
M = [[0, G12, G13, 0], [G12, 0, 0, G13], [G13, 0, 0, G12], [0, G13, G12, 0]]
ev = branching(rng, 0.5, M, 2.0, T2)
lim = 2 * G13 * (1 + G12) / (1 + G13 ** 2 + 2 * G12 + G12 ** 2)
print(f"B Epps effect, G12 {G12}, G13 {G13}: corr of increments (limit {lim:.3f})")
row = []
for t in (0.05, 0.5, 2, 10, 50):
a = increments(ev, {0: 1, 1: -1}, t, T2)
b = increments(ev, {2: 1, 3: -1}, t, T2)
row.append(statistics.correlation(a, b))
print(" tau 0.05 0.5 2 10 50")
print(" corr " + " ".join(f"{v:6.3f}" for v in row))
T3, rho = 200_000.0, 0.6
obs, t = [], 0.0 # observation times
for who, rate in ((0, 1.0), (1, 0.2)):
t = rng.expovariate(rate)
while t < T3:
obs.append((t, who)); t += rng.expovariate(rate)
obs.sort(); w1 = w2 = last = 0.0; tA, pA, tB, pB = [], [], [], []
for s_, who in obs: # exact Gaussian increments
z1, z2, d = rng.gauss(0, 1), rng.gauss(0, 1), math.sqrt(s_ - last)
w1 += d * z1; w2 += d * (rho * z1 + math.sqrt(1 - rho ** 2) * z2); last = s_
if who == 0:
tA.append(s_); pA.append(w1)
else:
tB.append(s_); pB.append(w2)
def prev_tick(times, vals, grid):
out, i = [], 0
for s in grid:
while i + 1 < len(times) and times[i + 1] <= s:
i += 1
out.append(vals[i])
return out
print(f"C asynchronous trading, true rho {rho}; ticks per unit time 1.0 and 0.2")
print(" tau 1 5 20 100")
row = []
for tau in (1, 5, 20, 100):
grid = [tau * m for m in range(1, int(T3 / tau))]
a, b = prev_tick(tA, pA, grid), prev_tick(tB, pB, grid)
row.append(statistics.correlation(incr(a, 1), incr(b, 1)))
print(" previous tick " + " ".join(f"{v:6.3f}" for v in row))
cov, j = 0.0, 0 # Hayashi-Yoshida estimator
for i in range(1, len(tA)):
a0, a1, dA = tA[i - 1], tA[i], pA[i] - pA[i - 1]
while j + 1 < len(tB) and tB[j + 1] <= a0:
j += 1
k = j
while k + 1 < len(tB) and tB[k] < a1:
if tB[k + 1] > a0:
cov += dA * (pB[k + 1] - pB[k])
k += 1
va = sum((b - a) ** 2 for a, b in zip(pA, pA[1:]))
vb = sum((b - a) ** 2 for a, b in zip(pB, pB[1:]))
print(f" Hayashi-Yoshida (all ticks): {cov / math.sqrt(va * vb):.3f}")
# A signature plot, mu 0.5, alpha 0.6, beta 2.0 (norm 0.3): 569,182 ticks
# tau 0.05 0.25 1 5 25 100
# simulated 1.388 1.273 1.050 0.887 0.868 0.860
# formula 1.392 1.274 1.053 0.890 0.854 0.848
# B Epps effect, G12 0.3, G13 0.5: corr of increments (limit 0.670)
# tau 0.05 0.5 2 10 50
# corr 0.041 0.302 0.545 0.643 0.677
# C asynchronous trading, true rho 0.6; ticks per unit time 1.0 and 0.2
# tau 1 5 20 100
# previous tick 0.084 0.264 0.474 0.575
# Hayashi-Yoshida (all ticks): 0.600A 部分中,模拟(569,182 次价格变动)与公式相符:采样间隔 0.05 时为 1.388 对 1.392,间隔 100 时为 0.860 对 0.848。短间隔上的方差约为长间隔的 1.6 倍,全部来自交叉激发造成的均值回复,模型中没有任何「测量误差」。B 部分中,两项资产增量的相关系数在间隔 0.05 时只有 0.041,间隔 50 时为 0.677,接近理论极限 0.670。C 部分中,真实相关系数是 0.6,前一笔取价法在间隔 1 时只给出 0.084,间隔 100 时为 0.575;林—吉田估计量用全部成交得到 0.600。所以,至少在这个模拟里,非同步观测造成的埃普斯效应可以被一个合适的估计量完全消除;而 B 部分那种由动力学造成的相关性下降,是增量本身的性质,不是估计方法的偏差。图 3 画出了 A 与 B 的结果。
假说 · 尚未验证 · 埃普斯效应的两种来源
作者的假说(尚未确立): 在流动性好的股票对中,用林—吉田估计量修正非同步交易之后,秒级的相关系数仍明显低于日内低频(例如 30 分钟)的相关系数,即埃普斯效应的一部分来自微观结构动力学,而不只是非同步观测。什么样的结果能证明它是错的: 在事先固定的股票对、时段与估计方法下,修正后的秒级相关系数与 30 分钟相关系数之差的置信区间包含零。
本章小结
霍克斯过程用「过去的事件抬高当前强度」描述订单成簇;分支表示给出平均强度 、簇大小 与长窗口法诺因子 ,平稳性要求 ,核对无误。时间重标度检验能清楚地区分泊松与霍克斯模型。真实市场的分支比是否接近 1 仍有争议(只回顾第 39 本)。互激过程能同时再现签名图与埃普斯效应;但埃普斯效应也可以完全来自非同步交易,此时林—吉田估计量可以消除它。作者框架中「霍克斯过程即埃普斯效应的解释」应限定为「霍克斯过程是解释之一」。
参考文献
Fan, Y. (2026). High-Frequency Limit Order Book Microstructure, Hawkes Self-Exciting Point Processes and Adverse-Selection Flow Toxicity: From the Avellaneda–Stoikov Market-Making Equations to VPIN, Read Beside Classical Chinese Thought on Market Equilibrium [高频限价订单簿微观结构、霍克斯自激点过程与逆向选择毒流] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23828065 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).