《私域客服人机交接三级灯号精算、误判损失矩阵与最优置信度切分点母典》各章定量结论
私域客服接入机器人之后,流行做法是按准确率定一个置信度门限,够高就让机器人自己答。立项命题说:只按准确率定阈值是错的,带拒判选项的最优阈值由误判成本比决定(Chow 1970)。本书用纯标准库程序把命题写成可计算的模型,并修正蓝图三处:带拒识通道的最优识别早见于 Chow 1957 年的论文,1970 年的论文给出误差与拒判的一般关系;规则只对校准过的概率成立,把成本比算出的切分点直接套在过度自信机器人的自报分数上,每百段对话损失 265.4 元,等渗回归校准后 239.8 元;私域客服有「机器人起草、真人过目」的第三种动作,需要六格损失矩阵与两条切分点,示意参数下答对概率低于 0.4000 亮红灯、不低于 0.9500 亮绿灯。答错代价是人工代价 16 倍时,按准确率定的门限每百段损失 1093.1 元,按成本比定的只有 514.8 元。书中参数为示意,对话全部虚构;全部计算由书中程序生成;程序不读写任何文件,不连接任何客服系统;本书是非个人化经营建议,任何线上灯号的改动须由主事者人工复核放行。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-266 · English version
- 第 1 章 · 准确率的盲区:Chow 拒判规则与成本比
再往下看。答错代价升到人工的 8 倍,Chow 门限移到 0.8750,损失 389.2 元;A1 口径不动,损失 558.7 元;A2 口径的门限 0.8170 离最优不远,损失 402.8 元。到 16 倍,Chow 门限 0.9375,损失 514.8 元,A1 口径升到 1093.1 元,A2 口径 666.2 元,两种准确率口径中较差的那个多付 578.3 元。到 32 倍,最优门限 0.9688,A1 口径的损失 2161… - 第 2 章 · 六格损失矩阵:三区决策的贝叶斯风险与两条切分点
估成真实值的 0.50 倍,即 25.0 元时,每百段多损失 17.5 元,相当于最优损失的 7.3 %;估成 2.00 倍,即 100.0 元时,多损失 23.0 元,即 9.6 %。估偏三成左右,代价只有两个百分点上下:估成 35.0 元多付 5.2 元,估成 70.0 元多付 5.4 元。只有偏到四倍,损失才变得显著:估成 12.5 元多付 73.4 元,即 30.7 %;估成 200.0 元多付 89.9 元,即 37.6 %。 - 第 3 章 · 成本曲线:准确率更高的机器人为什么反而更贵
第三章用成本曲线比较两个机器人,准确率较低但更会拒判的那个在成本比高于 4.14 时更省钱。 - 第 4 章 · 置信度不是概率:等渗回归校准与少样本的代价
真实概率下的最优损失是每百段 240.0 元。只有 50 段标注时,等渗回归平均多损失 38.4 元,普拉特缩放多损失 12.9 元;100 段时分别是 22.5 元与 6.6 元;300 段时 7.6 元与 1.9 元;1,000 段时 3.6 元与 0.8 元;3,000 段时 1.8 元与 0.3 元。校准值与真实概率的平均差同样如此:50 段时等渗回归 0.0687、普拉特 0.0382,3,000 段时降到 0.0145 与… - 第 5 章 · 大促与漂移:先验迁移的贝叶斯修正与切分点的抽样误差
第五章讨论大促带来的先验迁移:真实答对比例降到 0.600 时,机器人自报的平均答对概率仍有 0.843。 - 第 6 章 · 不容定价的红灯:说停就停、弱势转人工与人手上限
不设上限时,最优切分点就是第二章的 0.400 与 0.950,负荷 22.1 个单位,每百段损失 295.2 元,这里包含了硬规则对话的人工代价。上限降到 20 时,影子价格 1.96 元,绿灯门限从 0.950 降到 0.938,红灯门限从 0.400 降到 0.253,绿灯比例升到 0.572,损失只增加到 297.1 元。上限降到 16 时,影子价格 11.05 元,红灯门限降到零,即除了硬规则,不再有任何对话因为置信度低而整… - 第 7 章 · 阙疑与贝叶斯:两份关于「把握不足」的古典文本
第七章考辨《论语·为政》「多闻阙疑,慎言其余,则寡尤」与贝叶斯 1763 年的论文:复核 20 段答对 19 段时,后验均值只有 0.9091。 - 第 8 章 · 月度重算闭环、蒸馏小工具与证伪方案
第八章给出月度重算流程与换版本当周立即重算的事件规则、蒸馏小工具「三级灯号切分点计算器」、每组需 1177 段对话的预先登记检验,以及推翻本书三根支柱的条件。书中以标注框区分已发表的证据、可运行的 Python 计算(18 段程序)、原典与作者的假说。
模型示意算例,非实时报价