《低秩矩阵补全与交替最小二乘、稀疏购买记录推断未表态偏好母典》各章定量结论
小店店主与买手普遍相信,购买记录太稀疏,推断不了顾客没有表态的偏好,要做推荐必须先有大平台那样的海量数据。本书用低秩矩阵补全推翻这条常识:顾客口味若由少数隐藏维度决定,一张九成以上是空格的表,其空格在数学上可以被确定,所需观测数取决于自由度再乘一个对数因子,而不是格子总数。立项蓝图把「约 O(n r log n) 个观测即可恢复」挂在坎德斯与雷希特 2009 年《计算数学基础》的论文名下;核对之后,本书作蓝图修正:该文证明的充分条件是 n 的 6/5 次方乘 r log n 的量级,n r log n 是坎德斯与陶哲轩 2010 年证明的必要下限,并在更强前提下以多出对数因子的代价达到。书中顾客数、商品数、口味维度与购买概率均为示意参数;全部计算由书中程序生成;本书属于非个人化经营建议,推荐流程只用店铺自有数据,不外传个人数据,不做跨平台追踪。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-328 · English version
- 第 1 章 · 稀疏也能补全:低秩矩阵需要多少个观测条目
第一章扫描观测比例:40 乘 40、秩二的矩阵在观测数为自由度 2.05 倍时误差中位数降到 0.0021,并用精确二项尾概率说明所需观测与 n r ln n 之比从 0.677 缓降到 0.436,对数因子去不掉。 - 第 2 章 · 交替最小二乘:把一个难题拆成一串小方程组
观测格子共 343 个。岭参数取 0.001 时,训练误差是 0.3886,检验误差却高达 4.2879:几乎不加惩罚,记录少的顾客与商品被拟合到噪声里去,预测在未观测格子上大幅外飘。这一行的训练误差反而比岭参数 0.100 时的 0.3361 还高,说明几乎不加惩罚时交替最小二乘也收敛得不干净。岭参数取 1.000 时检验误差最低,是 0.7649;再往上加,惩罚压过了数据,训练与检验误差一起上升,到 30.000 时两者分别是 1… - 第 3 章 · 幂迭代与主奇异向量:给交替最小二乘找一个好起点
第三章用幂迭代与紧缩核对埃卡特与杨的误差,谱初值使交替最小二乘误差降到 0.00108,随机初值却升到 12.23857。 - 第 4 章 · 非相干性:爆款、冷门小众与长尾让补全失败
第四章说明非相干性不成立时恢复失败:冷门小众品项的误差中位数为 0.9134。 - 第 5 章 · 缺失非随机:只看到买了的,会把推断带偏多少
第五章说明只看到买了的会怎样:选择偏强时未买格子的预测偏高 0.4245,倾向加权降到 0.1671;只拟合已买格子的模型命中率仅 0.286,把没买的格子也计入的加权交替最小二乘达到 0.743。 - 第 6 章 · 冷启动:用均值与品类先验接住新顾客与新商品
第六章讲冷启动,新顾客有八条记录时向品类先验收缩的折入法误差为 0.2434。 - 第 7 章 · 东西方原典考辨:「方以类聚,物以群分」与斯皮尔曼的一般因素
第七章考辨《周易·系辞上》「方以类聚,物以群分」与斯皮尔曼 1904 年的一般因素,指出纯分群与混合成员下两种模型各有胜负。 - 第 8 章 · 买手推荐表与证伪方案:只用店内自有数据的闭环
第八章给出买手推荐表、蒸馏小工具「偏好补全推荐器」与预注册检验方案,每组需 3156 位顾客。书中以标注框区分已发表的证据、可运行的 Python 计算(23 段程序)、原典与作者的假说。
模型示意算例,非实时报价