《扇出尾延迟乘法律与对冲请求、单页多调用时百分位延迟的放大母典》各章定量结论
网站经营者普遍相信,只要每个后端服务的慢请求控制在百分之一,页面体验就差不到哪里去。本书用概率模型推翻这条常识:页面要等全部调用返回,延迟是各调用的最大值,单服务百分之一的慢请求在一百个并行调用下变成 0.634 的慢页面。这个数出自迪恩与巴罗索 2013 年在《美国计算机协会通讯》发表的《规模化下的尾部》;核对原文后,本书作蓝图修正:它是假想情形下按独立性假设算出的推论,不是实测,原文的实测表反而与独立模型不符。西方原典最小因子律的思想早见于施普伦格尔 1828 年的论文,木桶比喻是后人的普及说法。书中服务时间、慢请求比例与成本均为示意参数;全部计算由书中程序生成;本书属于非个人化经营建议。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-326 · English version
- 第 1 章 · 乘法律:百分之一的慢调用如何变成六成三的慢页面
第一章复算乘法律:万分之一的慢请求在两千个调用下仍给出 0.181 的慢页面,页面第九十九百分位要求每个调用只允许 0.000100 的慢份额。 - 第 2 章 · 页面是最大值:次序统计量与最后几片叶子
第二章把页面写成最大值,并用实测表检验独立性:独立模型预测「百分之九十五叶节点返回」与「全部返回」的时刻之比为 0.087,实测为 0.500。 - 第 3 章 · 独立性不成立时:相关慢、坏机器与同步后台任务
第三章并陈相关性的两个方向:坏时段让慢页面降到 0.4033,固定坏机器配合不放回访问让它升到 0.6740,同步后台任务把它压到 0.0104。 - 第 4 章 · 对冲请求:在第九十五百分位补发一份
第四章讲对冲请求:在单调用第九十五百分位补发一份,额外请求为 0.0500,页面超时概率降到 0.0100;若慢来自请求本身,对冲失效。 - 第 5 章 · 排队尾分布:利用率把尾巴拉长,对冲也是负载
先看利用率的作用。利用率 0.30 时,单个调用的平均响应时间是 7.1 毫秒,第九十九百分位是 32.9 毫秒;利用率 0.70 时,分别升到 16.7 与 76.8 毫秒;利用率 0.90 时,升到 50.0 与 230.3 毫秒;利用率 0.95 时,平均是 100.0 毫秒,第九十九百分位是 460.5 毫秒。从 0.5 到 0.9,每一个百分位都乘以 5.0,因为所有百分位都与「一减 rho」成反比。利用率最后那几个百分点最… - 第 6 章 · 预算分配:把页面百分位拆到每一个调用
第六章把页面预算拆给各调用,按成本不等分可省下 0.0597 的容量成本。 - 第 7 章 · 东西方原典考辨:行百里者半于九十与最小因子律
结果几乎是逐字的印证。在一百个叶节点的轻尾模型里,第九十个叶节点返回的期望时刻是 8.78 毫秒,全部返回的期望时刻是 17.56 毫秒,两者之比恰好是 0.500:走到九十,只走了一半。最后十个叶节点,占去了页面平均等待时间的 0.500。第一个叶节点返回时,只走完了 0.116;第五十个返回时,也只走完了 0.231;到第九十五个,是 0.610;到第九十九个,是 0.829。等待的时间不是均匀地分布在各个叶节点之间,而是越往后越… - 第 8 章 · 收费站页面扇出审计与证伪方案
第八章给出收费站页面扇出离线审计、蒸馏小工具「扇出尾延迟计算器」与预注册检验方案。书中以标注框区分已发表的证据、可运行的 Python 计算(22 段程序)、原典与作者的假说。
模型示意算例,非实时报价