多模态回归的高效解析不确定性量化

不确定性量化对于构建可信的大规模学习系统有多关键，圈内人都懂。但现有多模态回归任务中的UQ方法，大多绑死在单峰参数模型上——说白了，就是假设标签围绕一个峰值分布，然后套个高斯假设，负对数似然直接缩成均方误差。问题是，现实世界里的多峰分布根本不买这个账。另一方面，那些确实能搞定多峰分布的半参数方法，虽然预测能力够强，却在量化预测方差这件事上掉了链子。

这项工作把基于变分贝叶斯推断（VBI）的UQ技术，推广到了两种广泛使用的半参数回归模型上——分位数回归（QR）和分类恢复（CR）。这两种模型都能生成类似直方图的条件标签密度重建。由此诞生的，是一个与分布无关的统一框架：既能准确估计复杂条件分布，又能高效完成UQ。从理论层面来看，这个框架建立在QR和CR在VBI框架内的新颖公式化之上，推导出了解析形式的证据下界（ELBO），训练过程大幅简化，同时还给出了闭式或解析近似的预测密度，推理效率极高。实证结果也够硬——我们在三个大规模多峰标签回归基准上做了测试，效果全面超过最先进的多模态回归基线，甚至和计算昂贵的集成模型打了个平手。更亮眼的是，利用认知不确定性估计，这套方法还实现了极高数据效率的主动学习策略。

1 引言

预测不确定性量化（UQ）——说白了就是模型对自己预测有多自信这回事——在高风险应用里绝对是命脉，比如网约车调度和推荐系统 [Kendall and Gal, 2017]。主流的UQ手段之一，就是变分贝叶斯推断（VBI）。尤其是限定在最后一层搞VBI——变分贝叶斯最后一层（VBLL）[Harrison et al., 2024]——因为计算效率远超那些贵得离谱的集成学习方案，直接脱颖而出。对于连续回归问题，这个框架里的经典做法是假设条件标签服从简单的高斯分布。这个单峰参数假设之所以被偏爱，是因为它能让对数似然损失的证据下界（ELBO）在数学上简单可解析推导，从而把每样本的推理和训练成本死死压在O(1)的水平。

但在现实世界里，高不确定性场景下的条件标签分布，往往不会乖乖遵循简单的高斯行为，反而表现出依赖于输入的、复杂的多模态特性。拿视频推荐系统来说，用户参与模式是离散的，经验数据表明观看时间分布就是多峰的，这一点在 [Zhao et al., 2025] 里有详尽讨论。简单的参数化假设根本抓不住这种多峰性的全部复杂度。当模型用假设高斯条件分布的对数似然目标训练时，训练损失直接简化为均方误差（MSE），迫使模型在真实标签分布的条件期望处硬生生拟合一个高斯分布。但问题来了——在以离散簇为特征的多峰分布中，这个期望均值往往落在不同簇之间的“谷值”点，那里的数据条件密度几乎为零。我们将此称为“幽灵值”（Ghost Value）病理：模型拟合的分布，其密度峰值偏偏出现在数据密度最低的区域。于是模型被迫膨胀预测方差，才能维持对实际、遥远的数据模态的数据覆盖。这种结构性失效直接导致了认知不确定性严重校准错误，以及预测质量的显著退化（见图1 A）。

为了在这种设定里搞出更靠谱的UQ，我们的结构性创新是一个与分布无关的框架——把VBI从简单的高斯假设推广到更复杂的半参数方法，具体是分位数回归（QR）和分类恢复（CR）。这个框架同时做到了两件事：(1) 在多模态回归中重建复杂的条件分布；(2) 以解析形式进行高效的UQ，训练和推理成本与确定性网络完全一致，都是O(1)。

经验层面，我们在多样化、大规模的多模态领域展示了两个优势。第一，标准训练下，我们的框架在密度估计和分布外（OOD）敏感性方面，性能与最先进的基线旗鼓相当甚至更优。第二，解析认知不确定性实现了高度数据高效的主动学习；通过可靠地分离认知不确定性和偶然不确定性，能在显著减少标签需求的同时，取得更好的预测准确性，同时保持大规模下的计算可行性。

1.1 相关工作

不可行。

混合密度网络（MDNs）[Bishop, 1994] 能对多模态目标建模，但优化不稳定，而且缺乏解析形式的认知不确定性量化（UQ）。像 CREAD [Sun et al., 2024] 这类分布性方法，利用分类恢复（Classification Restoration）绕过了幽灵值，但既没有认知UQ，也没有一致性保证。在连续域中，共形分位数回归（CQR）[Romano et al., 2019] 生成的连续区间在不相交支撑集（disjoint supports）上会失效，同样缺了认知分解。此外，先前的贝叶斯分位数回归 [Abeywardana and Ramos, 2015, Yang et al., 2016] 依赖高斯尺度混合表示，需要辅助参数或昂贵的蒙特卡洛采样近似。

基于不一致性的贝叶斯主动学习（BALD）[Houlsby et al., 2011, Gal et al., 2017] 是主流范式，但将基于采样的获取函数应用到大规模回归时，计算瓶颈变得极其严重。深度集成（Deep Ensembles）[Lakshminarayanan et al., 2017] 和 MC-Dropout 需要对每个候选者做多次随机前向传播，导致大规模池评估和重训练循环直接卡死——在批量设置里这个问题更被放大 [Kirsch et al., 2019]。像 DER [Amini et al., 2020] 这样的确定性方法虽然高效，但在不相交数据上会失效；非贝叶斯启发式方法 [Yoo and Kweon, 2019, Sener and Sa varese, 2018] 则把认知无知（epistemic ignorance）和偶然数据噪声（aleatoric data noise）混为一谈。

2 问题表述

3 模块化分布无关框架

我们的框架同时实现了准确的密度估计和高效的不确定性量化（UQ）。从技术架构来看，它集成了三个模块化组件：一个距离感知骨干网络、一个共享的变分贝叶斯推断引擎，以及针对分位数回归（QR）或分类恢复（CR）的任务特定输出头。

3.1 组件 1：保距骨干网络

3.3 路径 A：变分贝叶斯分位数回归 (QR-VBLL)

因此，期望对数似然可以解析计算，并且可以用自动微分库中通常可用的函数来表示。变分后验和神经网络权重可以通过该损失函数进行反向传播训练。将公式 (3) 中的解析期望代入变分目标，就得到了 QR-VBLL 需要最小化的损失函数：

3.4 路径 B：变分贝叶斯分类恢复 (CR-VBLL)

4 框架属性与效率

我们为框架提供了理论保证。

我们推导出了不确定性的解析分解，使得单次传递推断成为可能，从而绕过了基于采样的方法的高昂计算成本。

5 实验

我们在三个大规模基准测试上评估了框架：微信（短视频推荐）、KuaiRec（短视频推荐）和 Uber（网约车共享）。如图 3 所示，这些数据集的目标分布高度非高斯、多模态，标准的基于均方误差（MSE）的方法在这些分布上很容易翻车。粗体字表示每个方法类别下的最佳性能。

为了确保在离散（CR）和连续（高斯/QR）范式下的方法能被严格、公平地比较，我们标准化了评估指标。(1)

：将目标空间划分为10个均匀区间（buckets）。对于连续模型（高斯、QR-VBLL），在每个区间上对预测的概率密度函数（PDF）（或累积分布函数的差值）进行积分，得到概率质量。然后计算这些质量相对于离散化真实值的 NLL。(2) ：同样使用这10个固定区间计算ECE，衡量预测概率质量与目标落入每个区间的实证频率之间的一致性。(3) 保持为基于完整CDF计算的连续指标。(4) 基于预测条件均值和标签计算。详细定义见附录D。

篇幅所限，微信、KuaiRec 和 Uber 数据集的简化结果展示在表2中，标准差包含在附录D对应的完整表格（表7、8和9）中。

（图3a）的目标分布高度离散（观看比例要么0.0要么1.0），密度峰值尖锐。CR-VBLL 在单次传递方法里凭借最好的NLL实现了“模态精度”，有效匹配甚至击败了除CR-Ensemble外计算昂贵的其他方法。QR-VBLL 则在单次传递方法里凭借最好的CRPS，在全局保真度方面表现突出。

（图3b）的条件标签分布更平滑，且具有重尾特征。MDN在单次传递方法里实现了最低的NLL，但代价是全局保真度——其CRPS (0.2117) 高于QR-VBLL (0.1964)。同时，QR-VBLL在单次传递方法里实现了最好的CRPS和ECE，在其他数据集上表现也比MDN更稳定，甚至在NLL和ECE上优于计算昂贵的QR-Ensemble。

（图3c）数据稀疏，目标分布双峰但连续。同样，QR-VBLL 单次传递和集成基线都给出了令人信服的表现。

此外，在稀疏数据上，CR-VBLL 和 QR-VBLL 都从“安全网”效应中获得了更大的优势幅度（可对比图1 B与C）。

5.1 感知不确定性的主动学习

我们验证了预测的认知方差确实忠实反映了真实的模型无知。如图4所示，微信数据集上的平均认知不确定性在交互历史极少的冷启动用户中最高，随着历史增加而单调递减。这证实了我们的架构成功识别了稀疏数据体制下的“已知的未知”，为代表性不足的用户提供了可靠、膨胀的方差，防止做出过度自信的预测。

既然已经确认这种认知信号是忠实可靠的，接下来展示如何利用它来化解工业应用中的一个关键瓶颈：获取标注数据的高昂成本。因为我们的框架可靠地将认知无知与固有的偶然噪声分离开来，从而实现了高效的主动学习。

6 结论

我们引入了首个模块化、与分布无关的框架，同时实现 (1) 准确的多模态分布估计和 (2) 高效的不确定性量化。这个框架分出了两条路径：针对连续形状的分位数回归（QR）和针对不相交模态的分类恢复（CR）。关键在于，我们提出了训练这两类模型的无采样目标，其中包括针对解析变分QR的新颖结果。通过将保距骨干网络与变分贝叶斯最后一层（VBLL）结合，我们的架构将校准好的认知不确定性注入预测中，仅需单次前向传播。我们提供了理论和数值证据，表明这个框架为可信的多模态回归提供了稳健且高效的解决方案。

目前的方法依赖特定于数据集的启发式方法，用于在QR/CR路径之间做路由；开发完全自适应、数据驱动的路由模块是未来一个关键方向。此外，为完整的VBLL框架建立紧密的有限样本误差界，并扩展到多变量目标，仍然是重要的开放性挑战。另外，我们目前用的是一种相对朴素的方法——通过对变分后验进行集成，利用QR重建预测PDF/CDF。开发更有效的重建方法不仅是可能的，而且也是值得探索的。

原文链接：https://arxiv.org/pdf/2606.25188