RA-CFGCache: From Branch-Level Criteria to Guided-Risk Control under Classifier-Free Guidance

论文已被NeurIPS 2026接收

摘要

• 扩散模型能够生成高质量的视觉内容，但其迭代去噪过程计算开销较大，尤其在无分类器引导（Classifier-Free Guidance，CFG）下，需要同时计算条件分支和无条件分支。现有免训练缓存方法通过复用历史特征或预测结果加速推理，但其缓存决策主要依赖分支级误差估计，忽略了两个关键问题：一是分支误差在CFG组合过程中可能相互抵消或放大；二是不同时间步的局部误差对最终生成结果的影响存在差异。针对上述问题，我们提出了RA-CFGCache，一种面向CFG的风险对齐缓存框架。该方法通过CFG感知的引导风险组合，综合考虑分支误差幅值及其对齐关系，并进一步利用传播感知的风险重缩放，评估局部误差对最终生成结果的潜在影响，从而动态控制缓存复用与重新计算。在FLUX.1-dev、Wan2.1-T2V-1.3B和CogVideoX-2B上的实验表明，RA-CFGCache在图像和视频生成任务中实现了更优的推理效率与生成保真度权衡，并能够兼容TeaCache、DiCache和MagCache等现有缓存方法，在几乎不增加推理延迟的情况下进一步提升生成质量。

引言

扩散模型（Diffusion Models）在图像生成和视频生成领域取得了显著进展，但其推理过程需要经过多步迭代去噪，带来了较高的计算开销。尤其是在无分类器引导（Classifier-Free Guidance，CFG）机制下，模型需要同时计算条件分支（Conditional Branch）和无条件分支（Unconditional Branch），进一步增加了推理成本。因此，如何在保证生成质量的同时降低计算开销，成为扩散模型高效推理的重要研究方向。

免训练缓存（Training-Free Caching）为扩散模型加速提供了一种有效途径。其核心思想是利用相邻去噪时间步之间的计算冗余，复用历史计算得到的特征或预测结果，从而跳过部分模型计算。近年来，TeaCache、MagCache、DiCache等方法通过不同的变化量估计策略，自适应地决定何时复用缓存，在无需重新训练模型的情况下取得了显著的加速效果。

然而，现有缓存方法主要基于分支级特征变化或误差估计进行缓存决策，未能充分考虑CFG组合后的误差及其对最终生成结果的影响。通过对CFG缓存误差的分析，我们发现了两个关键的失配问题，如图所示。

具体而言：

• 分支—引导失配（Branch–Guided Mismatch）：如图1(a)所示，条件分支与无条件分支的缓存误差曲线并不能直接反映CFG组合后的引导误差。这是因为引导误差不仅取决于两个分支各自的误差幅值，还受到误差方向及其对齐关系的影响，可能在CFG组合过程中发生抵消或放大。因此，仅依赖单分支误差无法充分衡量缓存复用对实际去噪更新的影响。
• 局部—最终失配（Local–Final Mismatch）：如图1(b)所示，不同时间步产生的局部引导误差与最终生成偏差之间并不存在简单的对应关系。即使局部误差大小相近，由于后续去噪过程中的误差传播效应不同，也可能对最终生成结果造成显著不同的影响。因此，缓存控制不仅需要关注当前时间步的局部误差，还应考虑其对最终生成结果的潜在影响。

上述两个现象表明，CFG场景下的缓存决策不能仅依赖分支级局部变化，而应同时考虑CFG误差组合机制及其随时间步变化的传播影响。

针对这些问题，本文提出了RA-CFGCache（Risk-Aligned Caching under CFG），一种面向无分类器引导的风险对齐缓存框架。在保持原有采样调度和CFG引导规则不变的前提下，通过两个核心模块优化缓存决策：

• CFG感知的引导风险组合（CFG-aware Guided-Risk Composition）：结合CFG引导系数、分支级误差代理估计及跨分支误差对齐关系，构建与CFG误差组合机制一致的引导风险估计，缓解分支—引导失配问题。
• 传播感知的风险重缩放（Propagation-Aware Rescaling）：利用不同时间步的误差传播先验，对引导风险估计进行加权，进一步考虑局部误差对最终生成结果的潜在影响，缓解局部—最终失配问题。

在此基础上，RA-CFGCache通过轻量级在线阈值控制器，根据累计风险动态决定是否复用缓存或重新计算两个分支，实现推理效率与生成质量之间的自适应权衡。

在FLUX.1-dev、Wan2.1-T2V-1.3B和CogVideoX-2B上的实验表明，RA-CFGCache在图像与视频生成任务中实现了更优的推理效率与生成保真度权衡。同时，该框架能够兼容TeaCache、MagCache和DiCache等不同缓存估计方法，在推理延迟几乎不变的情况下进一步改善生成质量。

方法

RA-CFGCache的核心思想是将传统基于分支级变化量的缓存决策，转化为面向CFG引导误差及其传播影响的风险控制。如图所示，整个框架包含两个核心模块：CFG感知的引导风险组合（CFG-aware Guided-Risk Composition）和传播感知的风险重缩放（Propagation-Aware Rescaling）。前者考虑条件分支与无条件分支的误差组合关系，后者进一步衡量局部误差在不同时间步对最终生成结果的潜在影响。最终，通过轻量级在线控制器实现缓存的动态复用与更新。

2.1 CFG缓存误差分析

在无分类器引导（CFG）机制下，扩散模型通过组合无条件预测与条件预测，得到最终用于去噪更新的引导预测：

其中, 和 分别表示无条件分支与条件分支的预测结果，s表示CFG引导系数。

当使用缓存复用时，两个分支的预测结果会产生一定误差，分别记为和。这些误差经过CFG组合后，实际进入去噪更新的引导误差为：

进一步展开其平方范数：

其中， 表示两个分支缓存误差之间的余弦相似度。

这一公式揭示了CFG缓存误差的一个重要特性：引导误差不仅与两个分支的误差大小有关，还受到它们之间对齐关系的影响。

当 s>1 时，交叉项的系数 2s(1-s) 为负。因此，两个分支的误差方向越接近，其在CFG组合过程中越可能发生部分抵消；而当对齐程度较低甚至方向相反时，误差抵消效应减弱，甚至可能出现放大。

这意味着，传统仅依赖分支级变化量的缓存判据，无法完整反映缓存复用对CFG引导预测的实际影响。因此，需要构建与CFG误差组合机制相一致的风险估计。

2.2 CFG感知的引导风险组合

实际推理过程中，如果每一步都重新计算完整预测来获取真实缓存误差，就会失去缓存加速的意义。因此，RA-CFGCache不直接计算真实误差，而是利用TeaCache、MagCache或DiCache等现有缓存方法提供的轻量级代理估计量（Proxy），评估两个分支的潜在缓存风险。

设和分别表示从历史锚点时间步复用缓存至当前时间步时，无条件分支和条件分支的风险代理估计。

根据前面的CFG误差分解，可以构建引导风险估计：

其中，表示通过离线校准得到的跨分支误差对齐统计量，用于近似描述不同时间步之间两个分支变化方向的相关性。

该模块的核心在于：不再分别判断两个分支是否适合复用，而是将分支级代理估计映射到CFG组合后的引导风险空间。

通过显式考虑CFG引导系数和跨分支对齐关系，RA-CFGCache能够更合理地评估两个分支联合复用时的潜在风险，并兼容不同的基础缓存估计方法。

2.3 传播感知的风险重缩放

仅考虑CFG组合后的局部引导误差仍然不够，因为不同时间步的误差对最终生成结果的影响存在明显差异。

为分析这一现象，本文采用单步扰动实验：仅在指定时间步执行一次缓存复用，其余时间步均进行完整计算，并比较最终生成结果与无缓存参考结果之间的差异。

定义局部引导误差为：

最终生成偏差为：

由此定义误差传播增益：

其中，衡量指定时间步产生的局部引导误差对最终生成结果的相对影响。

实验发现，传播增益随去噪时间步呈现系统性变化，说明不同时间步的局部误差具有不同的下游影响。

为了将这一特性引入在线缓存决策，RA-CFGCache使用一个轻量级的幂律函数拟合传播先验：

其中，k 表示递增的采样步索引，T为总采样步数，为离线校准参数。

随后，将传播先验作用于引导风险估计：

通过这一设计，RA-CFGCache不仅考虑当前缓存复用可能产生多大的引导误差，还进一步考虑该误差在当前时间步对最终生成结果的潜在影响。

因此，即使两个时间步具有相近的局部引导风险，也可能因为误差传播能力不同而得到不同的缓存决策。

2.4 在线缓存控制策略

在获得传播感知的引导风险后，RA-CFGCache采用轻量级的累计风险阈值策略，动态控制两个CFG分支的缓存复用与更新。

具体而言，控制器在每个缓存复用区间内维护累计风险分数 (R)。每当进入新的缓存区间时，将当前时间步设置为锚点，并初始化。

对于当前时间步，计算新增风险，并根据以下条件决定是否重新计算：

其中，为风险阈值，用于调节生成质量与推理效率之间的权衡。

• Refresh（重新计算）：当累计风险超过阈值时，同时重新计算条件分支与无条件分支，并将当前时间步设为新的缓存锚点，重置累计风险。
• Reuse（缓存复用）：当累计风险未超过阈值时，继续复用两个分支的缓存结果，并更新累计风险：

与独立控制两个CFG分支相比，RA-CFGCache默认采用双分支联合复用策略（Joint Branch Reuse）。这一设计既能够利用两个分支误差在CFG组合时可能产生的抵消效应，也可以同时跳过两个分支的缓存部分计算，从而获得更明显的推理加速收益。

最终，RA-CFGCache将CFG误差组合、时间步传播风险与在线缓存调度整合到统一的控制框架中，在不修改原始扩散模型、采样时间表及CFG引导规则的情况下，实现更加合理的缓存复用决策。

实验结果

实验设置

模型与数据集

我们在三个具有代表性的扩散模型上验证RA-CFGCache的有效性，涵盖图像生成和视频生成两类任务：

• FLUX.1-dev：文本到图像生成，采用200条DrawBench提示词，生成分辨率为1024×1024的图像；
• Wan2.1-T2V-1.3B：文本到视频生成，采用100条VBench提示词，生成832×480、81帧的视频；
• CogVideoX-2B：文本到视频生成，采用100条VBench提示词，生成720×480、49帧的视频。

所有主要实验均采用50步去噪，并在NVIDIA H200 GPU上完成。

评价指标

采用以下指标综合衡量推理效率与生成保真度：

• Speedup（加速比）：相对于原始完整推理的加速倍数，越高越好；
• Latency（推理延迟）：完成一次生成所需的端到端时间，越低越好；
• LPIPS（感知相似性距离）：衡量加速生成结果与原始结果之间的感知差异，越低越好；
• SSIM（结构相似性）：衡量生成结果与原始结果的结构一致性，越高越好；
• PSNR（峰值信噪比）：衡量生成结果与原始结果的像素级差异，越高越好。

所有加速方法均与相同提示词和随机种子下的原始完整推理结果进行比较。

基线方法

选取具有代表性的免训练扩散加速方法，包括TeaCache、DiCache、MagCache、TaylorSeer、HiCache和FasterCache，并在一致的模型、提示词和采样配置下进行比较。

主要实验结果

定量性能对比

下表展示了RA-CFGCache与代表性缓存基线的性能比较。RA-CFGCache提供Slow和Fast两种配置，分别侧重生成保真度和推理效率。

实验结果表明，RA-CFGCache在图像和视频生成任务上均实现了良好的效率与保真度权衡。

以FLUX.1-dev为例，RA-CFGCache-Slow在3.19×加速下实现了0.1137的LPIPS，相比加速比接近的MagCache（3.18×，LPIPS 0.1636），感知误差降低约30.5%。Fast配置则进一步将加速比提升至3.95×。

在Wan2.1和CogVideoX上也观察到了类似的趋势，表明RA-CFGCache的优势并不局限于图像生成任务。

效率—保真度权衡

为进一步验证不同缓存强度下的表现，我们比较了不同方法的推理延迟与LPIPS曲线，如图所示。

相比MagCache和DiCache，RA-CFGCache在三个模型的测试区间内均表现出更优的效率—保真度权衡：在相近推理延迟下，能够获得更低的感知误差。这说明方法的改进并非依赖某个特定阈值，而是在不同加速配置下均具有较好的表现。

生成质量可视化

下图进一步展示了FLUX.1-dev上的生成结果对比。在相近加速比下，TeaCache、MagCache和DiCache可能引入局部结构变化或细节偏差，而RA-CFGCache能够更好地保留原始图像的纹理、物体结构和语义细节。

这些结果说明，通过更合理地评估CFG缓存风险，可以在减少模型计算的同时，更有效地控制缓存复用引入的生成偏差。

消融实验

为验证两个核心模块的有效性，我们分别移除CFG感知的引导风险组合与传播感知的风险重缩放模块，并在FLUX.1-dev上进行对比。

实验结果表明：

• CFG感知的风险组合有效：单独引入该模块，LPIPS从0.1732降低至0.1391，说明考虑跨分支误差组合能够改善缓存决策。
• 传播感知的风险重缩放有效：单独引入传播权重，LPIPS降低至0.1423，验证了时间步传播影响对于缓存控制的重要性。
• 两个模块具有互补性：同时使用两个模块时，LPIPS进一步降低至0.1262，而加速比基本不变。

这表明，CFG误差组合和时间步传播影响分别提供了不同维度的风险信息，联合建模能够取得更好的效果。

其他分析

不同CFG引导系数下的鲁棒性

我们在CFG scale为1.5、3.5、5.5和7.5的设置下进行实验。结果表明，RA-CFGCache在不同引导强度下均保持了较好的效率与保真度权衡，说明风险对齐策略能够适应测试范围内不同的CFG配置。

引导风险估计的有效性

在50条独立测试提示词产生的37,400次缓存复用事件上，我们验证了引导风险组合的有效性。相比忽略跨分支交叉项的风险估计，完整方法与真实引导误差的Pearson相关系数由0.6082提升至0.7575，高风险事件检测的AUPRC由0.5671提升至0.6799。

这进一步验证了跨分支误差对齐信息对于识别高风险缓存复用决策的重要性。

传播感知加权的有效性

在不同缓存阈值配置下，引入传播感知加权后，风险统计量与最终LPIPS之间的Spearman相关系数由0.6571提升至0.9429，说明传播权重能够更好地反映不同缓存配置对最终生成保真度的影响。

兼容性与校准鲁棒性

RA-CFGCache能够结合TeaCache、DiCache和MagCache等不同基础代理估计方法改善保真度。此外，在测试的不同校准样本数量与子集设置下，方法的加速效果和生成保真度保持相对稳定，表明其对所测试的离线校准配置具有一定鲁棒性。

小结

本文提出了一种面向无分类器引导（CFG）的风险对齐缓存加速框架RA-CFGCache，针对现有缓存方法中分支误差与引导误差不一致、局部误差与最终生成偏差不匹配的问题，引入了CFG感知的引导风险组合与传播感知的风险重缩放机制。该框架通过建模条件分支与无条件分支的误差交互关系，并结合不同时间步的误差传播特性，实现了更加合理的缓存风险估计与动态复用决策。在不改变原始模型、采样调度和引导规则的前提下，RA-CFGCache能够兼容TeaCache、MagCache和DiCache等现有缓存方法。实验表明，该方法在图像和视频生成任务中实现了更优的推理效率与生成保真度权衡，为扩散模型的高效推理提供了一种通用且轻量化的缓存控制思路。