NeurIPS 2026 | LoRA 优化中的隐藏力量：重新认识缩放因子-京东云开发者社区

![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2026-10-10-20-19600GAvXAXWJIkVy.png)
**论文题目：** *The Hidden Power of Scaling Factor in LoRA Optimization*
**作者单位：** 京东；滑铁卢大学；南开大学数学科学学院；中国科学院大学前沿交叉科学学院
**论文地址：[https://arxiv.org/pdf/2606.12883](https://arxiv.org/pdf/2606.12883)**

> **TL;DR：** LoRA 的微调效果同时受到秩、学习率和缩放因子等因素影响。秩决定了低秩更新的容量；在秩确定后，实践中通常会通过提高学习率来改善收敛。我们的最新研究发现，与单纯提高学习率相比，长期被忽视的缩放因子 α 才是更有效、更稳定的优化“加速器”。基于这一发现，我们提出 **LoRA-α**：无需改变模型结构，只需重新设置 α，就能让 LoRA 直接沿用全量微调的小学习率，并在语言理解、代码生成、数学推理、多模态检索、图像生成和强化学习等任务上稳定提升效果。

近期，京东零售商品智能团队联合滑铁卢大学、南开大学和中国科学院大学，围绕大模型低秩训练（LoRA） 的优化机制开展了系统研究。相关论文已被国际人工智能顶级会议 **NeurIPS 2026** 录取。 这项工作延续了团队的研究积累（[NeurIPS 25 Spotlight｜关于 LoRA 的幅值理论与初始化策略改进](https://shendeng.jd.com/shendeng/article/detail/56574?forumId=1391)），进一步回答了LoRA的关键问题：

> 同样是把 LoRA 的更新“放大”，提高学习率和提高缩放因子 α，真的一样吗？

答案是：**不一样。α 不只是学习率的替代品，而是决定 LoRA 能否充分学习的关键因素。**

## 1\. 背景：LoRA 很轻量，但为什么经常“学不动”？

随着大模型进入产业应用，如何以更低成本完成模型微调，已经成为落地过程中的核心关注。全量微调需要更新模型的全部参数，训练成本和显存占用都很高。LoRA 则只训练少量低秩参数，在显著降低资源开销的同时，保留了较好的任务适配能力，因此已经成为大模型微调最常用的方案之一。

但在实际使用中，LoRA 常常会遇到两个问题：

1. **同样的学习率下，LoRA 比全量微调收敛更慢；**
2. **不同任务需要反复尝试学习率、秩和缩放因子，调参成本较高。**

为了解决第一个问题，业界常见的经验是：把 LoRA 的学习率提高到全量微调的 10 倍左右。这样做有时有效，但也可能让训练更加敏感，尤其在长文本训练和强化学习等波动较大的场景中，过高的学习率容易带来不稳定。

这就带来一个值得追问的问题：**LoRA 真的天然需要更大的学习率，还是我们忽略了其他更重要的参数？**

## 2\. 一个长期被低估的参数：缩放因子 α

LoRA 中有三个关键参数：学习率、秩，以及缩放因子 α。

过去，α 往往只是跟着秩设置，例如取 `α = r` 或 `α = 2r`。因为它和学习率都能改变更新幅度，很多人默认二者作用相近，于是把主要调参精力放在学习率上。

我们的实验却观察到一个非常稳定的现象：

> **从同一个起点出发，提高 α 往往比提高学习率收敛得更深、更稳；一些仅靠调大学习率无法到达的效果，可以通过增大 α 实现。**

换句话说，过去大家认为“LoRA 需要大约 10 倍学习率”，很可能只是因为 α 设置得太小，学习率被迫承担了补偿作用。

这也是本文的第一个重要结论：

> **LoRA 对大学习率的依赖，不是低秩微调的固有属性，而是缩放因子不足的外在表现。**

## 3\. 为什么增大 α，比增大学习率更有效？

为了回答这个问题，我们提出了一个直观的 **Signal-Drift（信号—漂移）分析框架**。

可以把 LoRA 的每一步训练理解成两部分：

* **Signal（有效信号）**：真正朝着任务目标前进的更新；
* **Drift（优化漂移）**：由 LoRA 双矩阵结构带来的额外扰动。

学习率增大时，有效信号会被放大，但漂移也会同时被放大。就像开车时一味猛踩油门：速度提升了，但方向偏差和车身抖动也会更加明显。

增大 α 则不同。它可以更集中地放大与任务目标一致的信号，而不会同比例增加漂移。因此，α 更像是在保持方向稳定的前提下提升动力。

这解释了实验中反复出现的结果：

* 提高学习率能够加快训练，但更容易提前进入平台期，甚至出现不稳定；
* 提高 α 能够利用 LoRA 本身较平滑的优化空间，持续获得更好的收敛效果；
* 在强化学习等高噪声场景中，二者的差异尤其明显。

从理论上看，LoRA 的低秩结构会对优化曲率产生“谱抑制”，使训练空间更加平滑。平滑本身带来了稳定性，却也让传统参数配置显得过于保守。**更大的 α，恰好可以释放这部分被低估的优化空间。**

![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2026-10-10-18-20tWnGVQAB6h20oDrF.png)

*图 1：α-scaling 与学习率 scaling 呈现出不同的优化动态。相比提高学习率，增大 α 能保持更高的信号—漂移比，实现更平滑、更深入的收敛。*

## 4\. 我们的方法：简单到只需要重新设置一个数

基于大规模实验与理论推导，我们发现最优 α 与秩 `r` 并不是传统的线性关系，而更接近一条平方根规律：

```text
α_base ≈ 256 × √r
```

例如，当 LoRA 的秩 `r = 8` 时，传统做法通常设置 `α = 8`，而本文给出的经验起点约为 `α = 724`。两者相差约 **90.5 倍**。

这并不意味着 LoRA 的实际更新会简单放大 90 倍。α、秩、初始化和优化器会共同决定最终训练动态。这个对比真正说明的是：**传统经验长期把 α 限制在了一个明显偏小的区间。**

在此基础上，我们提出 **LoRA-α**。它有三个特点：

1. **不改模型结构。** 不增加新的模块，也不改变 LoRA 的训练和推理方式；
2. **可以直接使用全量微调的小学习率。** 不再默认把学习率提高 10 倍；
3. **缩小调参空间。** 默认从平方根公式给出的 α 开始，只需在附近做小范围搜索。

对于工程实践而言，这意味着已有 LoRA 训练链路基本无需改造，只需调整配置中的 scaling factor，就可以获得收益。

![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2026-10-10-18-21bszXvGgxG107lzQz.png)

*图 2：LoRA 缩放机制的三项核心发现：增大 α 会降低合适的学习率；α-scaling 能够达到更低的损失；最优 α 与秩呈近似平方根关系。*

## 5\. 实验结果：一个简单改动，覆盖多类模型与任务

为了验证这一规律是否具有普适性，我们在 **184M 到 12B** 的不同规模模型上进行了系统实验，覆盖语言理解与生成、多模态检索、图像生成和强化学习等多类任务。整体结果表明，LoRA-α 在不同模型结构和训练范式下都能带来稳定收益。

* **在语言任务上，LoRA-α 显著缩小了 LoRA 与全量微调的差距。** 在 GLUE 八项任务中，标准 LoRA 的平均得分为 81.9，LoRA-α 默认配置达到 88.0，超过全量微调的 86.7；在 Llama 2-7B 的数学、代码和常识推理任务中，LoRA-α 经小范围调优后达到 44.9，与全量微调的 44.6 基本持平。
* **在多模态任务上，收益同样稳定。** 在 MMEB 多模态检索基准中，Qwen2-VL 2B 和 7B 的总体得分分别从标准 LoRA 的 58.7、64.5 提升到 61.6、66.9；在 Flux.1-12B 图像生成任务中，LoRA-α 对参考物体关键特征的还原也更加准确。
* **在强化学习中，LoRA-α 展现出更好的稳定性。** 在基于 GRPO 的数学推理训练中，LoRA-α 在 1.5B 和 7B 模型上都取得了最佳综合成绩；相比之下，简单提高学习率的效果并不稳定，部分任务甚至出现明显退化。

这些结果说明，LoRA-α 的作用并不局限于某一种模型或任务。尤其当模型容量增大、训练噪声上升时，合理设置 α 能够更充分地发挥低秩参数的学习能力，同时保持训练稳定。
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2026-10-10-18-21GTIQUveIOzNt10ED.png)

*图 3：Flux.1-12B 个性化图像生成效果对比。LoRA-α 对背包、茶壶、花瓶和靴子等参考物体的关键外观特征还原更加准确。*

## 6\. 从 LoRAM 到 LoRA\-α：我们对 LoRA 优化的进一步理解

在去年的工作中，我们提出了 LoRA 的 **幅值原则（Magnitude Principle）**，指出标准 LoRA 的更新幅值往往不足，并据此提出了无需昂贵 SVD 的初始化方法 LoRAM。

本次工作沿着这一方向继续追问：如果学习率、初始化和 α 都能放大更新，哪一种方式更有效？它们在优化过程中真的等价吗？

答案是：**幅值依然重要，但放大幅值的方式同样重要。**

LoRAM 关注“如何从一个更好的起点出发”，LoRA-α 则进一步揭示“训练过程中应该优先放大什么”。新的 Signal-Drift 框架说明，α 能够在增强有效任务信号的同时，更好地控制双矩阵结构带来的漂移，因此比单纯提高学习率更具优势。

从初始化到训练过程，这两项工作共同指向一个更完整的结论：

> **LoRA 并不是能力不足，很多时候只是没有处在合适的优化尺度上。**

## 7\. 业务应用

LoRA-α 的价值不只体现在公开基准上。目前，我们已经将该方法应用于**商品关系建模（同品、相似品等）**，用于训练链路中的 **向量模型**和**判别模型**。同品识别需要判断不同商品是否为同一款商品。其中，向量模型负责学习商品的语义表示，支撑候选商品的向量召回；判别模型则进一步综合商品标题、属性、图片等信息，完成更加精细的同品判断。两类模型分别影响召回覆盖和最终识别精度，是同品链路中的关键环节。

在这一场景中，全量微调和传统 LoRA 各有局限：

* **全量微调的学习能力强，但自由度过高。** 当业务数据规模有限，或存在长尾、噪声和分布差异时，模型更容易过度贴合训练数据，影响泛化效果；
* **LoRA 具备低秩约束带来的正则化效果，但学习能力不足。** 模型虽然更加稳定，却可能没有充分学习业务知识，出现欠拟合。

LoRA-α 在二者之间取得了更好的平衡：一方面，它保留了低秩结构的约束，避免模型在业务数据上过度拟合；另一方面，通过增大 α 强化有效任务信号，让低秩参数得到更充分的优化，缓解传统 LoRA “学不动、学不够”的问题。实际应用结果显示，采用 LoRA-α 训练的向量模型和判别模型，效果均优于全量微调与原始 LoRA。这说明 LoRA-α 不仅能够提升通用基准表现，也能在真实业务数据上兼顾模型的学习能力与泛化能力。

需要说明的是，`256 × √r` 是在本文实验范围内表现稳健的推荐起点，并不是所有模型和任务的唯一最优值。对于轻量对齐、能力保持等不需要大幅学习新知识的场景，过大的 α 也可能导致过度适配。因此，我们建议把它作为验证起点，再结合任务效果做小范围调整。

## 8\. 总结与展望

本文重新审视了 LoRA 中长期被当作“辅助参数”的缩放因子 α，并得出了三个核心结论：

1. **LoRA 常用配置过于保守，限制了其真实学习能力；**
2. **α 与学习率作用并不相同，增大 α 能更稳定地放大有效任务信号；**
3. **最优 α 与秩近似呈平方根关系，传统的 `α = r` 或 `α = 2r` 普遍偏小。**

基于这些发现，我们提出了简单、兼容且易落地的 LoRA-α。大量实验表明，只需重新设置一个参数，LoRA 就能在多种模型、任务和训练范式中获得稳定提升，并在不少场景下达到或超过全量微调。

有时候，释放一个方法的潜力，并不一定需要增加更多结构。**把一个被忽略的旋钮调到正确位置，也可能带来意想不到的提升。**

***

**相关工作：**

* [LoRA Without Regret](https://thinkingmachines.ai/blog/lora/)
* [The Primacy of Magnitude in Low-Rank Adaptation](https://arxiv.org/abs/2507.06558)
* [NeurIPS 25 Spotlight｜关于 LoRA 的幅值理论与初始化策略改进](https://shendeng.jd.com/shendeng/article/detail/56574?forumId=1391)