大模型是怎样炼成的：从会背书到能办案-京东云开发者社区

<h1></h1>以合规调查员场景类比，面向所有人的大模型科普分享。<img src="//img1.jcloudcs.com/cms/3b409522-d916-4260-a4bc-5cf7697a39f520260729145737.png" style="width: 266px; height: 184px;" width="266" height="184"/>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<img src="//img1.jcloudcs.com/cms/bd8d8770-6e42-48ca-bed3-9db4f3e3f5d720260729145812.png" alt="image (1).png" width="290" height="183" style="width: 290px; height: 183px;"/><h1>开场：一个贯穿全文的故事</h1>我们用一个大家都熟悉的场景来讲这个故事： 把训练一个大模型，想象成培养一个合规调查员，并最终建设一套合规调查体系。<ul class=" list-paddingleft-2"><li>先让他读完所有法规、平台规则、历史案例（预训练），</li><li>再教他怎么按标准格式输出调查结论（SFT），</li><li>然后根据申诉率和误判反馈来校准他的判定尺度（RLHF），</li><li>接着训练他遇到复杂 case 时先拆解证据链再下结论（推理强化），</li><li>最终让他独立接手全链路调查——自己调证据、查系统、联动多方、输出完整报告（Agent）。</li><li>但光培养出一个优秀的调查员还不够。要把他的能力真正用起来，还需要给他配标准作业流程、案件管理系统、质控机制、团队协作规范——从个人能力变成组织化的生产力（工程化落地）。</li></ul>每一步都在解决上一步遗留的问题。下面我们一步步展开。<h1>一、预训练（Pre-training）：读完所有法规和案例</h1><h2></h2><h2>故事的起点 </h2>2017年，Google 发表论文<a href="https://arxiv.org/pdf/1706.03762">“Attention Is All You Need”(Vaswani et al., 2017)</a>，提出了Transformer 架构。这是大模型时代的地基。在预训练阶段，我们让模型阅读互联网上的海量文本——法律条文、行业规范、新闻、技术文档、代码、论坛帖子……几乎人类写过的所有东西。它的学习任务只有一个：给定前文，预测下一个词。<img src="//img1.jcloudcs.com/cms/dfe257a7-343a-4c52-ac72-daaaaccbd89f20260729150221.png" alt="image (2).png" width="388" height="432" style="width: 388px; height: 432px;"/>图1-1 预测下一个词就这么一个简单的任务，重复几万亿次之后，模型掌握了语言规律、世界常识、代码能力，甚至一定的推理能力。这就是所谓的涌现（Emergence）——量变引发质变，简单目标叠加足够的规模后，“意外地”产生了复杂能力。回到我们的类比：这个阶段相当于新来的调查员读完了能找到的所有资料——电商法、广告法、平台规则、过往处罚案例、商家申诉记录、行业研报。他现在知识储备极其丰富，但你给他一个具体 case，他并不会直接给你结论，而是像互联网文本一样“接龙”下去：你：“这个商品涉嫌虚假宣传吗？”他：“虚假宣传是指经营者利用广告或其他方法对商品做出与实际不符的虚假信息，根据2018年的一项研究……”（他在背书和接龙，不是在给你调查结论。）那为什么这种“续写训练”能让模型学到真正的知识？下面从架构层面看看背后发生了什么。<h2>Transformer：所有证据摊在同一张桌上</h2>Transformer 之前，主流模型是 RNN/LSTM——它们处理文本像逐级传话，一个词一个词往后传，传到第100个词时第1个词的信息已经衰减得面目全非。这就像调查员只能按顺序逐条阅读证据，读到第50条时已经忘了第1条写的什么。<img src="//img1.jcloudcs.com/cms/8f44079f-05a0-4adb-9e71-ab6206322e6420260729150258.png" alt="image (3).png" width="918" height="245" style="width: 918px; height: 245px;"/>图1-2 RNN 网络结构，信息逐级传递Transformer 的核心创新是自注意力机制（Self-Attention）：处理每个词时，都能直接&quot;看见&quot;全文所有其他词，根据相关程度分配关注权重。不再是逐级传话，而是把所有证据摊在同一张桌子上同时审视——每条证据都能直接跟其他任意一条建立联系。<h3>注意力的直觉：一次&quot;模糊查找&quot;</h3>对于工程师来说，最好的理解方式是把注意力类比为一个&quot;软性 HashMap&quot;：<ul class=" list-paddingleft-2"><li>传统 HashMap：精确匹配 key，返回唯一 value</li><li>注意力机制：每个词带着一个查询（Query），去和所有词的标签（Key）算相似度，然后按相似度加权混合所有词的内容（Value）——不是精确匹配一个结果，而是按相关程度融合所有信息</li></ul><img src="http://img1.jcloudcs.com/cms/165d7c3c-b2d7-48fb-9804-f436d5a57d5520260729150341.png" width="376" height="212" style="height: 212px; font-family: sans-serif; text-align: center; white-space: normal; width: 376px;"/>图1-3 传统 HashMap&nbsp;<img src="http://img1.jcloudcs.com/cms/9d0366bb-965b-4e12-9d07-73cb978da1cd20260729150341.png" width="344" height="298" style="height: 298px; font-family: sans-serif; text-align: center; white-space: normal; width: 344px;"/>图1-4 自注意力机制 类比到调查场景：调查员审查一个 case 时，不是只看某一条证据就下结论。他把所有证据（标题、详情页、评价、投诉记录、物流信息）都摆出来，然后根据和当前疑点的相关程度来综合判断——每条证据都被&quot;看到&quot;了，但权重不同。<h3>多头注意力：同时从多个角度审视</h3>一组注意力只能捕捉一种关系模式。多头注意力（Multi-Head Attention）是同时进行多组这样的&quot;模糊查找&quot;——有的 head 关注词与词之间的语法搭配，有的关注语义关联，有的关注指代关系，有的关注因果逻辑。类比：一个资深调查员审 case 时，会同时从多个角度审视——法规条款匹配度、事实逻辑链是否自洽、时间线有无矛盾、涉及主体之间的关联关系。每个角度就是一个&quot;头&quot;。<img src="//img1.jcloudcs.com/cms/5425086e-53e2-4f59-969f-54b0e05bf42620260729150523.png" alt="image (6).png" width="405" height="270" style="width: 405px; height: 270px;"/>图1-5 多头注意力可视化然而，这种&quot;所有词都看所有词&quot;的方式带来一个问题——它丢失了顺序信息。<h3>位置编码：给证据加上时间线</h3>注意力机制把证据摊在桌上同时看，但看不出先后顺序。模型分不清&quot;商家先发货后修改描述&quot;和&quot;商家先修改描述后发货&quot;——而这在合规判定中可能是天壤之别。解决办法是给每个词附加一个位置信号。早期用绝对编号（位置0、1、2……），但遇到训练时没见过的长度就失效。现在主流是<a href="https://arxiv.org/pdf/2104.09864">RoPE（旋转位置编码；Su et al., 2021）</a>——编码的是词与词之间的&quot;相对距离&quot;。 就像调查员关心的是&quot;修改描述发生在发货之前还是之后&quot;（相对时序），而不是&quot;修改描述这个动作出现在文档第几行&quot;（绝对位置）。这也是为什么现代模型能够处理超长文本的关键之一。<img src="//img1.jcloudcs.com/cms/8b953264-053d-429f-9d1b-d2da5d7fe4a720260729150552.png" alt="image (7).png"/>图1-6 Transformer 网络结构<h2>从词到向量：模型如何&quot;理解&quot;语义</h2>理解了注意力之后，还有一个前置问题：模型看到的并不是文字，而是数字。文字要先变成数字，才能做数学运算。这个过程分两步：第一步：分词（Tokenizer）——把句子拆成词片段，查表映射为数字编号。比如&quot;虚假宣传&quot;可能被拆成&quot;虚假&quot;和&quot;宣传&quot;两个 token，分别对应编号 3847 和 2956。第二步：词嵌入（Embedding）——把数字编号升维为一个高维向量（通常几千维）。关键在于：语义相近的词，向量距离也相近。这个想法最早来自 2013 年的<a href="https://arxiv.org/pdf/1301.3781">Word2Vec（Mikolov et al., 2013）</a>。它有一个经典的发现：King - Man + Woman ≈ Queen也就是说，词向量之间的方向和距离编码了语义关系。&quot;King&quot;到&quot;Queen&quot;的方向，和&quot;Man&quot;到&quot;Woman&quot;的方向几乎一致——模型捕捉到了&quot;性别&quot;这个语义维度。类似地，&quot;北京&quot;到&quot;中国&quot;的向量关系，与&quot;东京&quot;到&quot;日本&quot;的关系也高度相似。<img src="//img1.jcloudcs.com/cms/a8ab55d1-f1cf-4c2f-ba59-9caf585e7d7b20260729150615.png" alt="image (8).png" width="547" height="191" style="width: 547px; height: 191px;"/>图1-7 Word2Vec可视化现代大模型的嵌入层比 Word2Vec 复杂得多（上下文相关的动态嵌入，而非静态的），但核心思想一脉相承：用向量空间中的位置和方向来表征语义。 这就是为什么模型能&quot;理解&quot;词义——虽然它处理的是数字，但这些数字在向量空间中的几何关系恰好对应了人类理解的语义关系。<h2>训练方式：自监督学习</h2>有了架构，接下来的问题是：训练数据从哪来？标注成本太高怎么办？答案是：不需要人工标注。互联网文本本身就是训练数据。做法极其简单——把句子截断，让模型预测被截掉的下一个词。预测对了就强化当前参数，预测错了就调整。损失函数是交叉熵——本质上就是一个从几万个候选词中选正确答案的分类问题。这叫自监督学习，也是预训练能做到如此大规模的根本原因：<ul class=" list-paddingleft-2"><li>训练数据近乎无限（整个互联网）</li><li>不需要人工标注</li><li>模型规模可以疯狂 scale up 但&quot;规模可以 scale up&quot;背后有一个更深刻的规律在支撑——</li></ul><a href="https://arxiv.org/pdf/2001.08361">Scaling Law (Kaplan, J. et al., 2020)：规模即能力</a>OpenAI 在 2020 年发现了一条经验定律：模型的性能与参数量、数据量、计算量之间呈可预测的幂律关系。性能 ∝ f（参数量，数据量，计算量）翻译成人话：给够算力、给够数据、造够大，模型就会持续变强——而且变强的幅度是可预测的，不会突然停滞（至少在已探索的范围内）。这就是为什么整个行业疯狂烧钱堆参数的理论依据——不是盲目堆料，而是有数学上的保证：堆了就一定会变强。这条定律也催生了后来 GPT-3（175B）、PaLM（540B）等超大规模模型的诞生。<img src="//img1.jcloudcs.com/cms/756545f9-0c85-4530-adb5-60524710129020260729150636.png" alt="image (9).png" width="376" height="233" style="width: 376px; height: 233px;"/>图1-8 大模型 Scaling Law但模型越来越大，推理成本也水涨船高。这就引出了效率优化的需求。<h2>效率瓶颈与优化</h2>注意力机制&quot;所有词看所有词&quot;的代价是计算量O(N²)——序列长度翻倍，计算量翻四倍。当文本达到几万甚至几十万 token 时，这个平方增长会成为严重瓶颈。更具体地说，自回归生成时还有一个额外开销：每预测一个新词，理论上要重新计算前面所有词的中间结果。好在前面的词不会变，因此可以用KV Cache 缓存已算过的结果——每次只需要算新词和所有旧词的关系即可。相当于调查员写报告时，写到第10页不需要重新理解前9页的素材——之前的分析已经&quot;缓存&quot;在脑子里了。代价是显存占用随序列长度线性增长。围绕这个瓶颈，业界发展出一系列优化手段： <table cellspan="0"><colgroup><col style="width: 252px"/><col style="width: 252px"/><col style="width: 254px"/></colgroup><tbody><tr class="firstRow"><td style="background: rgb(85, 85, 85);" width="252">优化方向</td><td style="background: rgb(85, 85, 85);" width="252">代表方法</td><td style="background: rgb(85, 85, 85);" width="254">思路</td></tr><tr><td style="" width="252">压缩缓存</td><td style="" width="252"><a href="https://arxiv.org/pdf/1911.02150">MQA (Shazeer, 2019)</a>/<a href="https://arxiv.org/pdf/2305.13245">GQA (Ainslie et al., 2023)</a>/<a href="https://arxiv.org/pdf/2405.04434">MLA (DeepSeek-AI, 2024)</a></td><td style="" width="254">多个查询共享同一份 KV 缓存，省显存</td></tr><tr><td style="" width="252">加速计算</td><td style="" width="252"><a href="https://arxiv.org/pdf/2205.14135">Flash Attention (Dao et al., 2022)</a></td><td style="" width="254">减少 GPU 内存搬运次数，不改结果只改实现</td></tr><tr><td style="" width="252">缩小范围</td><td style="" width="252">滑动窗口注意力 (<a href="https://arxiv.org/pdf/2004.05150">Beltagy et al., 2020</a>,<a href="https://arxiv.org/pdf/2309.17453">Xiao et al., 2023</a>)</td><td style="" width="254">只关注附近的上下文，远处的信息交给稀疏注意力处理</td></tr><tr><td style="" width="252">内存管理</td><td style="" width="252"><a href="https://arxiv.org/pdf/2309.06180">PagedAttention (vLLM; Kwon et al., 2023)</a></td><td style="" width="254">像操作系统管内存一样管 KV Cache，按需分页分配回收</td></tr><tr><td style="" width="252">加速生成</td><td style="" width="252"><a href="https://arxiv.org/pdf/2211.17192">投机解码（Leviathan et al., 2023）</a></td><td style="" width="254">小模型先批量起草，大模型一次性审核，通过的直接用</td></tr></tbody></table> 除了在运行层面优化，另一个思路是在模型结构层面降低成本——这就引出了<a href="https://arxiv.org/pdf/1701.06538">MoE（Mixture of Experts，混合专家；Shazeer et al., 2017）</a>。<h2>MoE ：不是所有人都需要同时上场</h2>传统模型（Dense Model）每次推理时，所有参数都参与计算。MoE 的思路是：模型内部划分为很多&quot;专家子网络&quot;，每次推理时由一个路由器只激活其中 2~4 个最相关的专家。DeepSeek-V3：总参数 671B，每次只激活 37B。相当于合规部有几百号人，但每个 case 只需要路由给相关领域的几个专家处理——涉及广告法的 case 找广告合规专家，涉及食品安全的找食品领域专家。不需要所有人都看。<img src="//img1.jcloudcs.com/cms/ade8d48f-2e05-435b-bbd9-ef9b4bb7c70320260729150657.png" alt="image (10).png" width="495" height="201" style="width: 495px; height: 201px;"/>图1-9 MoE 推理过程这样一来，模型可以拥有&quot;大模型的知识容量&quot;和&quot;小模型的计算成本&quot;——两全其美，代价是模型文件很大（所有专家的参数都要存着），但每次推理开销小。<h2>采样策略：控制输出的&quot;性格&quot;</h2>最后一个环节：模型每步输出的是一个概率分布（每个候选词被选中的可能性），怎么从中选词决定了输出的&quot;性格&quot;：<ul class=" list-paddingleft-2"><li>Temperature（温度）：越低越保守确定（适合出具正式结论），越高越有发散性（适合头脑风暴）。本质是在 softmax 之前对 logits 做缩放</li><li>Top-K / Top-P：只从概率最高的若干候选中选取，避免选到离谱的词</li><li>Beam Search：同时保留多条生成路径，选整体最优序列 这些策略不改变模型本身，只影响&quot;怎么用模型&quot;。</li></ul><h2>小结</h2>到这里，我们有了一个知识渊博的&quot;百科全书型&quot;调查员。但他有一个致命问题：只会续写，不会按要求回答。接下来要解决的就是：怎么让他学会&quot;接到 case，给结论&quot;。<h1>二、SFT（监督微调）：学会按格式出结论</h1><h2>从续写到问答：解决什么问题</h2>预训练完成后，模型什么都&quot;知道&quot;，但什么都不&quot;做&quot;。你给它一个问题，它不是回答你，而是像互联网文本一样继续写下去。它不知道你在跟它对话——因为训练数据里就不是对话格式。我们需要让它学会一个新模式：收到指令 → 执行任务 → 输出结果。相当于那个读完所有资料的调查员，现在要进入岗前培训——学会&quot;接到一个 case，按标准格式输出调查结论&quot;这个基本工作流程。<h2>做法：用示范数据教会它</h2>SFT（Supervised Fine-Tuning，监督微调），也叫指令微调，做法很直接：准备大量&quot;指令→标准回答&quot;格式的数据，在预训练好的模型基础上继续训练。训练数据的格式：输入：某商品标题宣称&quot;100%纯棉&quot;，但质检报告显示含棉量仅65%期望输出：判定违规。依据：违反《广告法》第二十八条，标题描述与实际商品不符，构成虚假宣传。建议处置：商品下架，商家警告。模型看了成千上万条这样的示范之后，就学会了&quot;收到问题 → 组织语言 → 给出结论&quot;的行为模式。<img src="//img1.jcloudcs.com/cms/1b49bd71-d888-44ea-8dda-6e366940618820260729150722.png" alt="image (11).png"/>图2-1 指令微调前后对比<h3>效果对比</h3> <table cellspan="0"><colgroup><col style="width: 189px"/><col style="width: 189px"/><col style="width: 189px"/><col style="width: 191px"/></colgroup><tbody><tr class="firstRow"><td style="background: rgb(85, 85, 85);" width="189"> </td><td style="background: rgb(85, 85, 85);" width="189">输入</td><td style="background: rgb(85, 85, 85);" width="189">预训练模型</td><td style="background: rgb(85, 85, 85);" width="191">SFT 模型</td></tr><tr><td style="" width="189">行为</td><td style="word-break: break-all;" width="189">&quot;这个商品涉嫌虚假宣传吗？&quot;</td><td style="" width="189">&quot;虚假宣传是指经营者利用广告或其他方法……&quot;（背书）</td><td style="" width="191">&quot;判定违规。理由：标题宣称与质检不符。依据：广告法第28条。&quot;（给结论）</td></tr><tr><td style="" width="189">本质</td><td style="" width="189">—</td><td style="" width="189">在续写</td><td style="" width="191">在办案</td></tr></tbody></table> <h2>知识蒸馏：让小模型学大模型</h2>SFT 的训练数据从哪来？早期靠人工标注，成本极高。后来业界发展出一种更高效的方式—— <a href="https://arxiv.org/pdf/1503.02531">知识蒸馏（Knowledge Distillation; Hinton et al., 2015）</a>。核心思想：让一个大而强的模型（Teacher）去生成高质量的标注数据，然后用这些数据去训练一个小而快的模型（Student）。回到类比：让一个经验丰富的资深调查员（大模型）出具大量标杆案例的分析报告，然后拿这些报告来批量培训新人（小模型）。新人的个人能力比不上老师，但在标准场景下能做到八成以上的水准，而成本只有老师的十分之一。这就是为什么我们能在手机、边缘设备上跑 AI——不是直接跑那个几百B的大模型，而是用大模型的&quot;知识&quot;训练出一个几B的小模型来部署。 <a href="https://crfm.stanford.edu/2023/03/13/alpaca.html">Alpaca (Taori et al., 2023)</a>、<a href="https://lmsys.org/blog/2023-03-30-vicuna/">Vicuna (Chiang et al., 2023)</a>等早期开源模型就是通过蒸馏 GPT-4的输出来训练的。<h2>SFT 的关键里程碑</h2> <table cellspan="0"><colgroup><col style="width: 189px"/><col style="width: 189px"/><col style="width: 189px"/><col style="width: 191px"/></colgroup><tbody><tr class="firstRow"><td style="background: rgb(85, 85, 85);" width="189">模型</td><td style="background: rgb(85, 85, 85);" width="189">时间</td><td style="background: rgb(85, 85, 85);" width="189">参数量</td><td style="background: rgb(85, 85, 85);" width="191">意义</td></tr><tr><td style="" width="189"><a href="https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf">GPT-2 (Radford et al., 2019)</a></td><td style="" width="189">2019</td><td style="" width="189">1.5B</td><td style="" width="191">第一次展示续写能力之强（OpenAI 一度不敢开源）</td></tr><tr><td style="" width="189"><a href="https://arxiv.org/pdf/2005.14165">GPT-3 (Brown et al., 2020)</a></td><td style="" width="189">2020</td><td style="" width="189">175B</td><td style="" width="191">规模涌现，少样本学习能力出现</td></tr><tr><td style="" width="189"><a href="https://arxiv.org/pdf/2203.02155">InstructGPT (Ouyang et al., 2022)</a></td><td style="" width="189">2022</td><td style="" width="189">~1.3B</td><td style="" width="191">SFT + RLHF，1.3B 的小模型用户体验超越 175B</td></tr></tbody></table> InstructGPT 的结果特别有启发性：一个经过精心培训的 1.3B 小模型，用户满意度竟然超过了未经培训的 175B 大模型。 这说明&quot;怎么训&quot;比&quot;有多大&quot;更重要——至少在面向用户的体验层面是这样。<h2>小结：SFT 还不够</h2>经过 SFT，调查员学会了按格式出结论。但一个新问题浮现了：他的判定质量参差不齐。有时候判得太严——商家正常的营销修辞被判为虚假宣传，申诉后被推翻；有时候太松——明显的违规轻描淡写放过了；有时候结论格式到位但论证不够有说服力，经不起质问。问题的根源在于：SFT 只教了&quot;怎么回答&quot;，没教&quot;什么是好的回答&quot;。模型只是在模仿训练数据中的格式和风格，并不真正理解什么样的判定是&quot;好&quot;的。怎么让他的判定经得起挑战？我们需要引入偏好反馈机制。<h1>三、RLHF（人类反馈强化学习）：根据反馈校准判定尺度</h1><h2>对齐问题</h2>SFT 解决了&quot;会不会回答&quot;的问题，但没解决&quot;回答得好不好&quot;的问题。更本质地说：模型的行为需要与人类的价值判断对齐——不仅要&quot;像一个助手&quot;，还要&quot;是一个好的助手&quot;。这在合规场景里尤其明显：同一个 case，不同的措辞和侧重点，带来的判定说服力天差地别。标准答案不止一个，但有好坏之分。<h2>核心思路：从&quot;模仿标答&quot;到&quot;优化偏好&quot;</h2>RLHF = Reinforcement Learning from Human Feedback（人类反馈强化学习）做法分三步：第一步：收集人类偏好数据同一个 case，让模型生成两个不同的判定结论 A 和 B。由资深审核员（或多个标注员投票）选出更好的那个。不需要写出&quot;正确答案&quot;，只需要做比较——这比从零标注要容易得多。第二步：训练奖励模型（Reward Model）用偏好数据训练一个&quot;评委&quot;模型——它学会了&quot;给任意一个回答打分&quot;。这个评委模型内化了人类标注员的偏好模式：什么样的措辞更专业、什么样的论证更有说服力、什么样的判定更站得住脚。第三步：用强化学习（<a href="https://arxiv.org/pdf/1707.06347">PPO; Schulman et al., 2017</a>）优化主模型让主模型朝着&quot;评委给高分&quot;的方向不断调整。生成的回答评委打高分就强化，打低分就抑制。<img src="//img1.jcloudcs.com/cms/57522122-fd20-4594-8a84-894a9bea4c4620260729150742.png" alt="image (12).png" width="555" height="276" style="width: 555px; height: 276px;"/>图3-1 RLHF 算法流程回到类比：这相当于团队系统性地收集申诉反馈和 QA 抽检结果，先用这些数据训练出一个内部的&quot;质量评估标准&quot;（奖励模型），然后让调查员根据这个标准不断优化自己的判定方式——不是教他新规则（那是SFT），而是让他在实践中学会&quot;哪种判法更站得住脚、更少被推翻&quot;。<h2>DPO：跳过奖励模型，一步到位</h2>传统 RLHF 的三步流程比较复杂，尤其是训练奖励模型和 PPO 训练都不太稳定。2023年提出的<a href="https://arxiv.org/pdf/2305.18290">DPO（Direct Preference Optimization，直接偏好优化; Rafailov et al., 2023）</a> 提供了一个更优雅的方案：DPO 跳过了单独的奖励模型，直接从偏好对比数据中优化主模型——数学上可以证明，这等价于隐式地训练了一个奖励模型并做了强化学习，但实现上只需要一个简单的损失函数。核心逻辑：好的回答（chosen）→ 提高生成概率；差的回答（rejected）→ 降低生成概率。干净、简单、稳定。<img src="//img1.jcloudcs.com/cms/96c39533-35d5-4cb2-8eb5-303176ebdb4a20260729150808.png" alt="image (13).png" width="824" height="182" style="width: 824px; height: 182px;"/>图3-2 DPO 与传统 RLHF（PPO）的对比<h2>RLAIF：当人类标注不够用</h2>人类标注偏好数据是昂贵的——要请资深专家来做两两对比，效率低、成本高、标注员之间还会有分歧。<a href="https://arxiv.org/pdf/2212.08073">RLAIF（RL from AI Feedback; Bai et al., 2022）</a>的思路是：用一个更强的 AI模型来代替人类做偏好标注。具体做法：让 GPT-4 或 Claude 这样的强模型来对比两个回答的好坏，生成偏好数据。然后用这些数据做标准的 RLHF/DPO 流程。这和前面提到的知识蒸馏思想一脉相承——都是&quot;让强者教弱者&quot;。区别在于：<ul class=" list-paddingleft-2"><li>知识蒸馏：强模型直接生成&quot;标答&quot;，弱模型模仿</li><li>RLAIF：强模型做&quot;裁判&quot;，弱模型根据裁判反馈自我优化 回到类比：当资深调查员不够用时，可以让最顶尖的那几位只做&quot;质检抽查和评分&quot;（RLAIF），而不是让他们亲自写每一份调查报告（蒸馏）。这样他们的时间杠杆更大。</li></ul><h2>对齐税：安全与能力的权衡</h2>RLHF 有一个已知的副作用：过度对齐（Over-alignment）。模型为了迎合&quot;安全&quot;的偏好，可能变得过于保守——什么都不敢说，什么都加 disclaimer，该给判定的时候含糊其辞。这在合规场景里有对应的现象：如果 QA 只惩罚&quot;误判&quot;（查错了），调查员就会变得保守不敢判——宁可漏过也不错杀。好的偏好数据设计需要平衡&quot;安全&quot;和&quot;有用&quot;两个维度。<h2>阶段小结</h2> <table cellspan="0"><colgroup><col style="width: 252px"/><col style="width: 252px"/><col style="width: 254px"/></colgroup><tbody><tr class="firstRow"><td style="background: rgb(85, 85, 85);" width="252">阶段</td><td style="background: rgb(85, 85, 85);" width="252">解决什么问题</td><td style="background: rgb(85, 85, 85);" width="254">类比</td></tr><tr><td style="" width="252">预训练</td><td style="" width="252">有没有知识</td><td style="" width="254">读完所有资料</td></tr><tr><td style="" width="252">SFT</td><td style="" width="252">会不会按格式做事</td><td style="" width="254">岗前培训</td></tr><tr><td style="" width="252">RLHF/DPO</td><td style="" width="252">做事的质量好不好</td><td style="" width="254">根据反馈校准尺度</td></tr></tbody></table> 到这里，我们得到了 ChatGPT、Claude 这样的产品——知识丰富、听指令、回答质量高且安全。但遇到真正复杂的推理任务时，模型依然容易&quot;凭直觉秒答&quot;然后出错。<h1>四、推理强化（Reasoning Post-Training）：先理证据链，再下结论</h1><h2>问题的本质</h2>前三步培养出的调查员有一个根深蒂固的习惯：不管 case 多复杂，他都一步给出最终答案——因为训练目标就是&quot;预测下一个 token&quot;，模型天然倾向于尽快给出结论。简单 case 没问题。但遇到证据链长、涉及多方、规则有交叉的复杂案件时，直接给答案的正确率骤降。这就像一个调查员，接到一个涉及多个关联商家、跨多个时间节点的复杂刷单网络 case，他凭直觉说&quot;违规&quot;——有时蒙对了，有时经不起任何质问。问题不在于他没有推理能力（预训练其实已经赋予了一定的推理能力），而在于他没有使用推理能力的习惯。<h2><a href="https://arxiv.org/pdf/2201.11903">思维链（Chain-of-Thought; Wei et al., 2022）</a>：给他一张草稿纸</h2>核心洞察：让模型在给出最终结论之前，先输出中间推理步骤。相当于强制要求调查员先写分析过程，再出判定结论——不许跳步。<blockquote>❌不用 CoT： Case：某商家近期订单量异常激增，部分收货地址集中在同一区域 结论：正常经营 ← 凭直觉秒答，漏判了 ✅用 CoT： Case：同上 分析： · 订单量环比增长 800%，远超品类均值（异常信号） · 30% 收货地址集中在同一小区（物流异常） · 相关订单用户注册时间高度集中（批量注册嫌疑） · 复查发现付款账号存在交叉关联（资金闭环） 综合判定：高度疑似刷单，建议升级为正式调查 ✓</blockquote><img src="//img1.jcloudcs.com/cms/01548960-0aae-4d64-a054-aefed383e49120260729150832.png" alt="image (14).png" width="553" height="289" style="width: 553px; height: 289px;"/>图4-1 思维链与传统提示词的对比为什么写下中间步骤就能提高正确率？因为中间步骤的输出会改变后续 token 的概率分布。当模型写下&quot;订单量环比增长 800%&quot;之后，再预测下一步时， 这个已输出的事实会影响后续的判断方向——把模型引向更正确的推理路径。本质上，模型的&quot;思考能力&quot;受限于它的&quot;工作记忆&quot;——它只能看到输入和已输出的内容。不写下中间步骤，那些分析就不存在于它能看到的上下文中，自然无法利用。<h2>Lost in the Middle：长推理的隐患</h2>然而，当推理链条变得很长时（比如需要分析20条证据），一个有趣的现象出现了：模型对中间位置的信息关注度明显低于开头和结尾。这被称为<a href="https://arxiv.org/pdf/2307.03172">Lost in the Middle(Liu et al., 2023)。</a><img src="//img1.jcloudcs.com/cms/3acc4c68-e7b4-41c8-926d-637561ba183b20260729150851.png" alt="image (15).png" width="361" height="339" style="width: 361px; height: 339px;"/>图4-2 Lost-in-the-Middle 现象就像调查员翻阅一份很长的证据清单，开头和结尾记得清楚，但第8到第15条很容易被忽略。实践启示：<ul class=" list-paddingleft-2"><li>写 prompt 时把关键信息放在开头或结尾</li><li>如果推理链很长，可以让模型分段总结，避免信息丢失</li><li>这也是为什么 RAG（检索增强生成）需要对检索结果做排序优化 与此相关的还有一个有趣现象——Attention Sink（注意力水槽）：即使第一个 token 完全无关紧要（比如一个格式标记），模型也会给它分配大量注意力。 原因是注意力分数必须归一化为概率分布（加起来等于1），当模型&quot;不确定该重点看哪里&quot;时，会把剩余注意力倒给第一个 token——就像一个排水口，接住了无处安放的水。</li></ul><h2>DeepSeek-R1：从模仿推理到自主推理</h2>早期的 CoT 依赖 SFT——人类专家写好标准分析步骤，让模型去模仿。这就像给调查员一本《标准分析模板》让他照着填。能用，但有上限：模型只会使用人类教过的那些推理模式。<a href="https://arxiv.org/pdf/2501.12948">DeepSeek-R1（DeepSeek-AI (Guo et al.), 2025）</a>的关键创新：用强化学习直接激励推理能力——<ul class=" list-paddingleft-2"><li>给模型一个有明确正误判定的任务（数学题、代码题等可验证任务）</li><li>不教它怎么推理，让它自由发挥输出过程</li><li>只根据最终答案是否正确给予奖励（答对奖励，答错惩罚）</li><li>通过大量试错和强化，模型自己发展出了推理策略</li></ul><img src="//img1.jcloudcs.com/cms/16d9bd2d-568a-4752-9126-931d5240697920260729150911.png" alt="image (16).png" width="359" height="237" style="width: 359px; height: 237px;"/>图4-3 DeepSeek-R1 的推理过程结果令人惊叹：模型不仅学会了逐步推理，还&quot;发明&quot;了一些人类没有显式教过的策略——比如自我质疑（&quot;等等，我再检查一下前面的假设&quot;）、分支探索（&quot;换一种方法试试&quot;）、结果验证（&quot;让我用另一个角度验算&quot;）。回到类比：这不是给调查员一本标准手册让他填表（SFT），而是只告诉他案件最终定性对不对，让他自己在实战中摸索出高效的调查方法论——他可能发展出比手册更精妙的分析路径，因为他是通过&quot;做对了就强化&quot;这种方式在海量实践中自然进化出来的。<h2>推理模型的计算经济学</h2>推理强化带来了一个有趣的 trade-off：用更多的推理时计算量（inference compute）换取更高的正确率。模型&quot;想&quot;得越久（输出越多中间步骤），正确率越高——但推理成本也线性增长。这就像让调查员花更多时间分析一个 case 自然会更准确，但人力成本也更高。业界因此出现了&quot;Test-Time Compute Scaling&quot;的研究方向：如何在推理时智能地分配计算资源——简单问题快速回答，复杂问题深度思考。<h2>小结</h2>到此为止，我们有了一个能深度分析复杂 case 的调查员。但他仍然是一个被动角色——所有材料都是你准备好喂给他的。他坐在桌前等你把证据摆好，然后分析出结论。现实中的调查工作不是这样的。真正的调查员需要自己去找证据、调系统、联动多方。这就是下一步要解决的问题。<h1>五、Agent：独立接手全链路调查</h1><h2>从被动分析到主动行动</h2>到目前为止，我们的调查员已经很优秀了：知识丰富、会出结论、尺度校准过、遇到复杂 case 会先拆解分析再下判。但有一个本质局限：他只能处理你给他的信息。现实中一个完整的调查流程是：接到线索 → 确定调查方向 → 主动调取证据 → 分析 → 根据发现调整方向 → 补充调取新证据 → 形成结论 → 输出报告。这里面大部分工作不是&quot;分析&quot;，而是&quot;规划和行动&quot;。Agent（智能体）就是要让模型从&quot;被动分析者&quot;变成&quot;主动行动者&quot;——你给一个目标，它自己规划路径、调用工具、获取信息、根据反馈调整、最终完成任务。<h2>Agent 的理论根基</h2>Agent 的概念来自强化学习的核心框架，即马尔可夫决策过程（MDP）：<ul class=" list-paddingleft-2"><li>状态（State）：当前掌握的信息</li><li>行动（Action）：智能体采取的操作</li><li>奖励（Reward）：操作后获得的反馈</li></ul><img src="//img1.jcloudcs.com/cms/91af887a-26f0-4430-b950-36db5908f84820260729150930.png" alt="image (17).png" width="563" height="272" style="width: 563px; height: 272px;"/>图5-1 强化学习中的马尔可夫决策过程在大模型场景下，现代 LLM Agent =LLM 作为&quot;大脑&quot; + 记忆系统 + 工具调用能力 + 规划反思能力<img src="//img1.jcloudcs.com/cms/785c032e-384e-4d27-b2dc-815880a27c6820260729150953.png" alt="image (18).png" width="599" height="420" style="width: 599px; height: 420px;"/>图5-2 LLM Agent 的运行流程，类比强化学习中的马尔可夫决策过程<h2>三大核心能力</h2> <table cellspan="0"><colgroup><col style="width: 252px"/><col style="width: 252px"/><col style="width: 254px"/></colgroup><tbody><tr class="firstRow"><td style="background: rgb(85, 85, 85);" width="252">能力</td><td style="background: rgb(85, 85, 85);" width="252">作用</td><td style="background: rgb(85, 85, 85);" width="254">对应调查员的能力</td></tr><tr><td style="" width="252">记忆</td><td style="" width="252">记住历史信息和长期经验</td><td style="" width="254">记得之前查过什么、发现了什么、哪些路径走不通</td></tr><tr><td style="" width="252">工具调用</td><td style="" width="252">与外部系统交互</td><td style="" width="254">会用各种内部系统查数据、拉记录、发工单</td></tr><tr><td style="" width="252">规划与反思</td><td style="" width="252">拆解目标、动态调整</td><td style="" width="254">制定调查计划，发现新线索时调整方向</td></tr></tbody></table> 这三者缺一不可：没有记忆就会原地转圈，没有工具就只能纸上谈兵，没有规划就是无头苍蝇。<h2>工作循环：<a href="https://arxiv.org/pdf/2210.03629">观察-思考-行动（ReAct,Yao et al., 2022)</a></h2>Agent 的工作方式是一个循环：<ol class=" list-paddingleft-2"><li>观察：感知当前状态（用户输入、工具返回的数据、当前任务进度）</li><li>思考：LLM 推理分析，决定下一步做什么</li><li>行动：调用工具执行具体操作</li><li>获取反馈：观察操作结果</li><li>循环或终止：根据结果决定继续调查还是输出结论</li></ol><img src="//img1.jcloudcs.com/cms/6e7dd509-b176-4b58-8166-52fb75f5d8c120260729151014.png" alt="image (19).png" width="409" height="199" style="width: 409px; height: 199px;"/>图5-3 ReAct 工作模式<h2>一个完整的场景</h2>你：商家 ID 为 JD-283746 疑似刷单，去查一下。Agent 的自主工作过程：<ol class=" list-paddingleft-2"><li>思考：先看订单数据有没有异常行动：调用订单系统 API，查询该商家近30天订单数据</li><li>观察：订单量环比增长 500%，远超品类均值思考：增长异常，看看收货地址和买家画像</li><li>行动：查询收货地址分布 + 关联买家注册信息观察：42% 地址集中在3个小区，相关买家80%在近7天注册</li><li>思考：强烈刷单信号。再查资金流向确认闭环行动：查询相关订单的支付账号和退款记录</li><li>观察：存在明显的资金回流路径结论：确认刷单，输出完整调查报告（含证据链、时间线、关联图谱、处置建议） 整个过程你只提供了一个商家 ID，其余全部是 Agent 自主完成的——从确定调查方向，到分步调取证据，到根据中间发现调整策略，到最终形成完整结论。</li></ol><h2>多模态 Agent：不只看文字</h2>更进一步，现代 Agent 正在变得&quot;多模态&quot;——不仅能处理文字，还能理解图像、视频等。在合规场景中，这意味着 Agent 可以：<ul class=" list-paddingleft-2"><li>审查商品主图和详情页图片是否存在违规内容</li><li>分析直播录屏中的主播话术</li><li>对比商品实拍图与描述是否一致</li><li>识别 OCR 无法覆盖的水印文字和图片中的违规信息 相当于调查员从&quot;只看文字工单&quot;进化到能同时审查图片证据、视频证据、音频证据——综合所有形态的信息做判断。</li></ul><h2>Agent 的现状与挑战</h2>Agent 是当前大模型应用的前沿方向，但也面临诸多挑战：<ul class=" list-paddingleft-2"><li>可靠性：模型可能&quot;幻觉&quot;出不存在的工具或错误地调用工具</li><li>规划能力上限：超过10步以上的长程规划，当前模型容易走偏</li><li>成本：一次完整的 Agent 调用可能涉及几十次 LLM 推理</li><li>安全边界：Agent 有执行能力，需要严格的权限控制 但进展很快。从 2023 年到现在，Agent 的任务完成率在各类 benchmark 上持续提升，已经在代码生成、数据分析、客服等场景落地产出价值。</li></ul><h1>六、下半场：如何把 AI 能力工程化落地</h1><h2>从&quot;模型能力&quot;到&quot;工程系统&quot;</h2>前面五个阶段讲的都是模型本身的进化——怎么让模型更聪明、更听话、更会思考、更能行动。这是算法层面的故事。但对于我们软件工程师、数据工程师来说，真正的挑战是：你有一个聪明的模型了，怎么把它变成一个可靠的、可维护的、能规模化运行的生产系统？这就好比：你培养出了一个优秀的调查员。但要建设一个高效运转的合规调查体系，光有优秀的人远远不够——你还需要标准操作流程（SOP）、案件管理系统、知识库、质检机制、团队协作规范……下半场的主线，是围绕 Agent 系统的工程化展开的。它有一条清晰的演进路径：Prompt Engineering → Context Engineering → Skill → Harness → Agentic Loop → Multi-Agent。每一步都在解决上一步暴露的工程问题。<img src="//img1.jcloudcs.com/cms/fa8f0ea7-0844-42f5-81ec-f046d36ccea120260729151037.png" alt="image (20).png" width="313" height="313" style="width: 313px; height: 313px;"/>图6-1 AI 工程化范式的演进<h2>第一阶段：Prompt Engineering（提示词工程）</h2>最早期的 LLM 应用方式极其简单——写一段 prompt（提示词），调一次 API，拿到结果。所有的&quot;工程&quot;工作就是把 prompt 写好。回到类比：这相当于给调查员一张纸条，上面写着&quot;你是一个合规专家，请判断以下商品是否违规&quot;。调查员的全部工作依赖就是这张纸条上的指令。这个阶段的核心问题：模型的表现完全取决于你怎么写 prompt。同样的任务，prompt 写法不同，结果可能天差地别。于是诞生了各种 prompt 技巧——Few-shot（给几个示例）、CoT（让模型逐步思考）、角色设定、格式约束等等。但 Prompt Engineering 很快遇到了瓶颈：<ul class=" list-paddingleft-2"><li>纯文字指令能承载的信息量有限</li><li>无法动态适应不同的输入场景</li><li>规则一多就写成了又臭又长的&quot;提示词面条&quot;</li><li>没有工程化的可维护性可言</li></ul><h2>第二阶段：Context Engineering（上下文工程）</h2>当 prompt 本身不够用时，思路自然转向：不只优化指令本身，而是优化模型每次推理时看到的全部上下文。Andrej Karpathy（前 OpenAI/Tesla AI 负责人）在 2025 年提出：真正的核心能力不是写 prompt，而是Context Engineering——在正确的时间，把正确的信息，以正确的格式，放进模型的上下文窗口。这包括：<ul class=" list-paddingleft-2"><li>动态检索（RAG）：根据当前问题，实时从知识库中检索最相关的信息拼入上下文。类比：调查员办案时不是把所有法规都摆在桌上，而是根据当前 case 的类型，精准调出相关条款和类似案例</li><li>记忆管理：维护对话历史、长期记忆、用户偏好等信息，决定每次放入哪些、裁剪哪些。类比：调查员脑子里记着这个商家的历史记录和之前的处理结论</li><li>系统提示词模板化：把静态指令（角色、规则、格式要求）和动态内容（当前 case 信息、检索结果）分离管理</li><li>上下文窗口预算分配：模型的上下文窗口是有限的（即使 128K 也会被用完），需要像管理内存一样精打细算地分配给不同信息 类比升级：这不再是给调查员一张纸条了，而是给他配了一个智能化的案件管理系统——每次打开一个 case 时，系统自动把相关法规、历史案例、该商家的档案、前序处理记录都准备好摆在桌面上。 调查员只需要专注于分析判断，信息调度由系统完成。</li></ul><h2>第三阶段：Skill（技能模块化）</h2>Context Engineering 解决了&quot;信息输入&quot;的问题，但还有一个工程问题：模型需要完成的任务越来越多样，不可能用一个万能 prompt 覆盖所有场景。Skill（技能）的思想是：把 Agent 能做的事情封装成一个个独立的、可复用的技能模块。每个 Skill 包含：<ul class=" list-paddingleft-2"><li>触发条件：什么情况下该调用这个技能</li><li>专属 prompt/指令：针对这个任务优化的提示词</li><li>所需工具：完成这个技能需要调用哪些外部工具</li><li>输出格式：这个技能应该返回什么结构的结果 回到类比：这就像合规团队把不同类型的调查工作封装成了标准作业程序（SOP）：</li><li>&quot;虚假宣传判定&quot; Skill：需要商品信息 + 质检报告 + 广告法条款 → 输出判定结论</li><li>&quot;刷单识别&quot; Skill：需要订单数据 + 用户画像 + 资金流向 → 输出风险评分</li><li>&quot;知识产权侵权&quot; Skill：需要品牌数据库 + 商品图片 + 授权链 → 输出侵权判定 每个 SOP 独立可维护、可测试、可迭代。新来的调查员（新模型版本）也可以直接使用这些 SOP，不用从头学起。</li></ul>Skill 的关键好处是关注点分离：技能的编写者不需要关心调度逻辑，调度系统不需要关心每个技能的内部细节。<h2>第四阶段：Harness（控制骨架）</h2>有了 Skill，下一个问题是：谁来决定什么时候调用哪个 Skill？调用失败了怎么办？结果怎么校验？Harness（控制骨架/编排框架）是包裹在 LLM 外面的那层工程代码。它不是 AI，而是传统的确定性程序逻辑——负责流程控制、错误处理、重试机制、结果校验、权限管控等。Harness 做的事情包括：<ul class=" list-paddingleft-2"><li>流程编排：定义任务的步骤顺序、分支条件、并行/串行关系</li><li>工具注册与权限控制：Agent 能调什么工具、每个工具的调用限制</li><li>结果校验（Guard Rails）：模型输出后经过规则检查——格式对不对、有没有幻觉、是否触发安全红线</li><li>异常处理：模型拒绝回答怎么办、工具调用超时怎么办、输出不合格怎么重试</li><li>可观测性：日志、链路追踪、token 消耗统计、延迟监控 回到类比：Harness 就是合规团队的案件管理和质控系统。调查员（模型）负责动脑分析判断，但整个流程的调度——case 分配、超时提醒、结论复核、质检抽查、权限管控——全部由系统完成。 调查员再优秀，也不能自己决定&quot;我要跳过复核环节直接处罚商家&quot;——那是系统层面的控制。</li></ul>这个分层很重要：让 AI 做 AI 擅长的事（理解、推理、判断），让代码做代码擅长的事（流程控制、校验、可靠性保障）。<h2>第五阶段：Agentic Loop（自主循环）</h2>前面的 Harness 是预定义的流程——步骤写死在代码里。但很多真实任务的路径不是提前可知的：调查员不知道第一步会发现什么，只能根据发现动态决定下一步。Agentic Loop（自主循环）的模式是：把&quot;决定下一步做什么&quot;这件事也交给 LLM——但外层的 Harness 仍然负责执行控制、安全边界、终止条件。核心循环：<pre data-lang="markup">while&nbsp;(未达到终止条件)&nbsp;{&nbsp;observation&nbsp;=&nbsp;收集当前状态信息&nbsp;thought&nbsp;=&nbsp;LLM&nbsp;分析并决策下一步行动&nbsp;action&nbsp;=&nbsp;执行&nbsp;LLM&nbsp;选择的工具调用&nbsp;result&nbsp;=&nbsp;获取工具返回结果&nbsp;→&nbsp;回到循环开头&nbsp;}</pre>这就是第五章讲的 Agent 在工程层面的实现方式。关键在于循环是开放的——不是&quot;第一步查订单、第二步查地址、第三步出结论&quot;这种写死的流程，而是模型根据实际发现自主决定走向。但 Agentic Loop 也有明确的工程约束（由 Harness 保证）：<ul class=" list-paddingleft-2"><li>最大循环次数：防止无限转圈</li><li>Token 预算：控制成本不失控</li><li>工具白名单：不能调用越权操作</li><li>终止条件：什么时候必须停下来输出结果 回到类比：这就像给调查员一个自主调查权限，但同时有明确的边界——你可以自己决定调查路径，但总时长不能超过X天，只能访问Y级以下的系统，不能直接做出处罚决定，到期必须提交报告。自由度和控制力并存。</li></ul><h2>第六阶段：Multi-Agent（多智能体协作）</h2>单个 Agentic Loop 处理一个 case 没问题。但当任务复杂到一个 Agent 搞不定时——上下文装不下、需要不同专业视角、需要并行处理——就需要多个 Agent 协作。Multi-Agent 系统把一个复杂任务分发给多个专业化的 Agent，每个 Agent 有自己的 Skill 集合、自己的 Loop、自己的上下文。它们通过一个 Orchestrator （编排者）来协调。<img src="//img1.jcloudcs.com/cms/9d9b115f-76f6-4a98-947f-cc244c99e95b20260729151100.png" alt="image (21).png" width="425" height="315" style="width: 425px; height: 315px;"/>图6-2 多智能体模式回到类比：一个大型合规专项——比如&quot;双十一期间全平台虚假原价排查&quot;：<ul class=" list-paddingleft-2"><li>Orchestrator（组长）：接收任务，拆解为子任务，分配给各专业组，汇总结果</li><li>数据 Agent：扫描全平台价格异动，输出疑似名单</li><li>调查 Agent × N：并行处理多个商家的深度调查（每个跑自己的 Agentic Loop）</li><li>法规 Agent：提供法规解释支持（被其他 Agent 按需调用）</li><li>质检 Agent：对调查结论做交叉检验</li><li>报告 Agent：汇总所有结果，生成专项报告 每个 Agent 只需要擅长自己的环节，复杂度被分治到可管理的程度。</li></ul><h2>整条演进线的逻辑</h2>回头看这六个阶段，有一条清晰的递进逻辑： <table cellspan="0"><colgroup><col style="width: 189px"/><col style="width: 189px"/><col style="width: 189px"/><col style="width: 191px"/></colgroup><tbody><tr class="firstRow"><td style="background: rgb(85, 85, 85);" width="189">阶段</td><td style="background: rgb(85, 85, 85);" width="189">核心思想</td><td style="background: rgb(85, 85, 85);" width="189">解决的工程问题</td><td style="background: rgb(85, 85, 85);" width="191">类比</td></tr><tr><td style="" width="189">Prompt Engineering</td><td style="" width="189">写好提示词</td><td style="" width="189">怎么让模型理解任务</td><td style="" width="191">给调查员一张指令纸条</td></tr><tr><td style="" width="189">Context Engineering</td><td style="" width="189">管理好输入的全部信息</td><td style="" width="189">怎么让模型看到正确的上下文</td><td style="" width="191">给他配一个智能案件管理系统</td></tr><tr><td style="" width="189">Skill</td><td style="" width="189">能力模块化</td><td style="" width="189">怎么让系统覆盖多种任务类型</td><td style="" width="191">编写各类调查的标准 SOP</td></tr><tr><td style="" width="189">Harness</td><td style="" width="189">工程骨架包裹 AI</td><td style="" width="189">怎么保证流程可靠、结果可控</td><td style="" width="191">案件管理 + 质控系统</td></tr><tr><td style="" width="189">Agentic Loop</td><td style="" width="189">让 AI 自主决策行动路径</td><td style="" width="189">怎么处理非预定义的开放任务</td><td style="" width="191">给调查员自主调查权限</td></tr><tr><td style="" width="189">Multi-Agent</td><td style="" width="189">多 Agent 分工协作</td><td style="" width="189">怎么处理超出单人能力的大型任务</td><td style="" width="191">组建专项行动小组</td></tr></tbody></table> 每一步都是在上一步的基础上增加一层抽象、解决一个新的复杂度问题。这不是六种可选方案，而是一条递进的演化路径——复杂度越高的任务，需要走到越后面的阶段。<h2>数据飞轮：让系统越用越强</h2>无论走到哪个阶段，都有一个共性问题：系统上线后怎么持续变好？答案是构建数据飞轮：系统处理真实 case→ 收集结果和反馈（申诉、QA 抽检、人工复核）→ 反馈转化为训练/评估数据→ 优化 Prompt / Skill / 模型本身→ 更好地处理下一批 case→ ……每一次真实的业务使用都在积累让系统更好的数据。Prompt 的迭代、Skill 的新增和优化、Guard Rails 规则的细化、甚至模型本身的微调——都可以由这个飞轮驱动。<img src="//img1.jcloudcs.com/cms/2b86e69a-19bf-4908-a896-5684007d870120260729151124.png" alt="image (22).png" width="444" height="301" style="width: 444px; height: 301px;"/>图6-3 数据飞轮运行流程回到类比：这就是合规团队的经验沉淀和方法论迭代——每个 case 的处理结果都会反哺系统：被申诉推翻的判定变成负样本，QA 抽检认可的判定变成正样本，新出现的违规手法变成新的检测规则。 系统越用越聪明，不是靠某一次大版本升级，而是靠日积月累的飞轮转动。<h1>七、前沿方向：接下来会发生什么</h1><img src="//img1.jcloudcs.com/cms/3d0bf290-8108-4bfe-a45e-7333f2eddd9820260729151149.png" alt="image (23).png" width="505" height="284" style="width: 505px; height: 284px;"/>图7-1 前几天刚刚召开的 WAIC 2026（世界人工智能大会）前面讲了模型怎么进化、系统怎么落地。最后这一节看看当下正在发生和即将发生的事情——这些方向不是独立的概念，而是顺着前面的主线自然延伸出来的。<h2>从文本到万物：多模态的深化</h2>前面的整个故事都是以文本为核心的。但现实世界的信息不只是文字——商品主图、直播录屏、客诉录音、物流单据照片……多模态大模型让 AI 能够同时理解和生成文本、图像、音频、视频。当前的进展：<ul class=" list-paddingleft-2"><li>理解侧：GPT-4o、Gemini 等已能处理图文混合输入，识别图片内容、理解图表、分析视频帧</li><li>生成侧：从文本生成图像（DALL-E、Midjourney）、视频（Sora）、语音（实时对话）</li><li>端到端：原生多模态模型（不是&quot;视觉模型+语言模型拼接&quot;，而是统一的模型处理所有模态） 对合规场景的意义：Agent 不仅能审文字，还能直接看商品图判断是否涉及侵权、分析直播画面识别违规话术、用 OCR + 语义理解处理扫描件——从&quot;文字调查员&quot;进化为&quot;全能调查员&quot;。</li></ul><h2>从云端到终端：端侧部署与隐私计算</h2>大模型动辄几十GB，只能跑在 GPU 服务器上？未必了。通过模型压缩（量化、剪枝、蒸馏），3B~8B 参数的模型已经可以在手机、笔记本、甚至 IoT 设备上流畅运行。苹果的 Apple Intelligence、高通的 AI 芯片方案都在推动这个方向。对于合规这类涉及敏感数据的场景，端侧部署还有一个独特价值：数据不出域。商家信息、用户隐私数据不需要传到外部 API，在本地就能完成分析——天然满足数据安全和合规要求。<h2>从对话框到物理世界：Computer Use 与具身智能</h2>Agent 目前主要通过 API 调用工具。但很多系统没有 API——只有网页界面、桌面软件、甚至物理操作。Computer Use（计算机使用）：让 AI 像人一样操作 GUI——看屏幕截图，移动鼠标，点击按钮，输入文字。Anthropic 和 OpenAI 在 2024-2025 年相继发布了这个能力。对合规场景的潜在价值：有些内部系统没有开放 API（老旧 ERP、审批系统、特定平台后台），Agent 可以直接在界面上操作，降低系统对接成本。更远的方向是具身智能——让 AI 控制物理机器人在真实世界中行动。2024-2025 年人形机器人 + LLM 的结合进展迅速，但距离实用还有距离。<h2>从单次推理到持续进化：在线学习与自我改进</h2>当前模型的知识是&quot;冻结&quot;的——训练完成后就不再更新（除非重新训练或微调）。但世界在变、规则在变、违规手法在变。几个正在探索的方向：<ul class=" list-paddingleft-2"><li>在线学习（Continual Learning）：让模型在部署后持续从新数据中学习，而不会忘记旧知识</li><li>自我反思与改进（Self-Improvement）：模型自己评估自己的输出质量，发现问题后自我修正</li><li>合成数据驱动的自我进化：模型生成训练数据 → 训练更强的自己（但需要警惕&quot;模型崩塌&quot;——同质化导致多样性丧失） 回到类比：这就是调查员从&quot;定期参加培训班更新知识&quot;走向&quot;在日常工作中自动学习新规则、新手法、新判例&quot;——不用等别人教，自己就能持续进化。</li></ul><h2>从确定性到可信赖：安全与对齐的深水区</h2>模型越强大、越自主，安全问题就越尖锐：<ul class=" list-paddingleft-2"><li>幻觉（Hallucination）：模型自信地胡说八道。在合规场景中，引用一条不存在的法规可能导致严重后果</li><li>越狱（Jailbreak）：恶意构造的输入让模型绕过安全限制</li><li>对齐税：过度强调安全导致模型变得无用（什么都不敢判）</li><li>可解释性：模型给出了结论，但你不知道它为什么这么判——这在法律和合规场景中是不可接受的 业界正在投入大量精力的方向：</li><li>形式化验证：用数学方法证明模型在某些场景下不会产生特定有害输出</li><li>宪法 AI（Constitutional AI）：让模型按照一组明确的&quot;宪法&quot;原则来自我约束</li><li>机械可解释性（Mechanistic Interpretability）：打开模型黑箱，理解每个神经元在做什么</li></ul><h2>方向汇总</h2> <table cellspan="0"><colgroup><col style="width: 252px"/><col style="width: 252px"/><col style="width: 254px"/></colgroup><tbody><tr class="firstRow"><td style="background: rgb(85, 85, 85);" width="252">方向</td><td style="background: rgb(85, 85, 85);" width="252">核心问题</td><td style="background: rgb(85, 85, 85);" width="254">对合规场景的意义</td></tr><tr><td style="" width="252">多模态</td><td style="" width="252">让 AI 处理图/音/视频</td><td style="" width="254">商品图审查、直播合规、证据识别</td></tr><tr><td style="" width="252">端侧部署</td><td style="" width="252">在本地设备运行模型</td><td style="" width="254">数据不出域，满足隐私合规</td></tr><tr><td style="" width="252">Computer Use</td><td style="" width="252">让 AI 操作 GUI</td><td style="" width="254">对接无 API 的老旧系统</td></tr><tr><td style="" width="252">持续进化</td><td style="" width="252">模型部署后继续学习</td><td style="" width="254">自动适应新规则和新手法</td></tr><tr><td style="" width="252">可信 AI</td><td style="" width="252">消除幻觉、保证可解释</td><td style="" width="254">判定结论可审计、可追溯</td></tr></tbody></table> 这些方向有一个共同趋势：让 AI 从&quot;在对话框里回答问题&quot;走向&quot;在真实业务环境中可靠地、持续地工作&quot;。每一个方向解决的都是从&quot;Demo 好使&quot;到&quot;生产可用&quot;之间的某个关键 gap。<h1>全景回顾</h1>回到开头的故事。完整的旅程分为两个半场：上半场——模型能力的进化： <table cellspan="0"><colgroup><col style="width: 189px"/><col style="width: 189px"/><col style="width: 189px"/><col style="width: 191px"/></colgroup><tbody><tr class="firstRow"><td style="background: rgb(85, 85, 85);" width="189">阶段</td><td style="background: rgb(85, 85, 85);" width="189">做了什么</td><td style="background: rgb(85, 85, 85);" width="189">解决了什么问题</td><td style="background: rgb(85, 85, 85);" width="191">类比</td></tr><tr><td style="" width="189">预训练</td><td style="" width="189">海量文本上训练续写</td><td style="" width="189">知识从无到有</td><td style="" width="191">读完所有法规和案例</td></tr><tr><td style="" width="189">SFT</td><td style="" width="189">用指令数据微调</td><td style="" width="189">从续写变为执行任务</td><td style="" width="191">学会按格式出结论</td></tr><tr><td style="" width="189">RLHF/DPO</td><td style="" width="189">用偏好反馈对齐</td><td style="" width="189">质量从参差到可靠</td><td style="" width="191">根据反馈校准判定尺度</td></tr><tr><td style="" width="189">推理强化</td><td style="" width="189">用 CoT/RL 激励深度推理</td><td style="" width="189">从凭直觉到有理有据</td><td style="" width="191">先理证据链再下结论</td></tr><tr><td style="" width="189">Agent</td><td style="" width="189">加工具+记忆+规划</td><td style="" width="189">从被动分析到主动行动</td><td style="" width="191">独立接手全链路调查</td></tr></tbody></table> 下半场——工程化落地： <table cellspan="0"><colgroup><col style="width: 189px"/><col style="width: 189px"/><col style="width: 189px"/><col style="width: 191px"/></colgroup><tbody><tr class="firstRow"><td style="background: rgb(85, 85, 85);" width="189">阶段</td><td style="background: rgb(85, 85, 85);" width="189">做了什么</td><td style="background: rgb(85, 85, 85);" width="189">解决了什么问题</td><td style="background: rgb(85, 85, 85);" width="191">类比</td></tr><tr><td style="" width="189">PE → CE</td><td style="" width="189">从写 prompt 到管理全部上下文</td><td style="" width="189">信息输入的精准和高效</td><td style="" width="191">从纸条指令到案件管理系统</td></tr><tr><td style="" width="189">Skill</td><td style="" width="189">能力模块化封装</td><td style="" width="189">多场景覆盖和可维护性</td><td style="" width="191">各类调查 SOP</td></tr><tr><td style="" width="189">Harness</td><td style="" width="189">工程骨架包裹 AI</td><td style="" width="189">可靠性、安全性、可观测性</td><td style="" width="191">质控系统和权限管控</td></tr><tr><td style="" width="189">Loop → Multi-Agent</td><td style="" width="189">自主循环到团队协作</td><td style="" width="189">开放任务和复杂任务的处理</td><td style="" width="191">从自主调查到专项行动小组</td></tr></tbody></table> 上半场解决&quot;AI 能不能做&quot;，下半场解决&quot;AI 怎么可靠地、规模化地做&quot;，前沿方向则在推动&quot;AI 能做到什么程度&quot;的边界不断外扩。结语：大模型的发展就是从&quot;能背法条&quot;走向&quot;能独立办案&quot;，再走向&quot;能组织化批量办案&quot;的过程。对于我们团队来说，理解上半场是为了知道 AI 的能力边界在哪里， 理解下半场是为了知道怎么把这些能力变成真正可用的生产系统，关注前沿方向则是为了判断——哪些事情今天还做不到，但明天就可以开始尝试了。<h1>参考文献</h1><ol class=" list-paddingleft-2"><li>Vaswani, A., et al. (2017).Attention Is All You Need. <a href="https://arxiv.org/abs/1706.03762">https://arxiv.org/abs/1706.03762</a></li><li>Mikolov, T., et al. (2013).Efficient Estimation of Word Representations in Vector Space ( Word2Vec).<a href="https://arxiv.org/abs/1301.3781">https://arxiv.org/abs/1301.3781</a></li><li>Su, J., et al. (2021).RoFormer: Enhanced Transformer with Rotary Position Embedding (RoPE). <a href="https://arxiv.org/abs/2104.09864">https://arxiv.org/abs/2104.09864</a></li><li>Shazeer, N. (2019).Fast Transformer Decoding: One Write-Head is All You Need (MQA). <a href="https://arxiv.org/abs/1911.02150">https://arxiv.org/abs/1911.02150</a></li><li>Ainslie, J., et al. (2023).GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints.<a href="https://arxiv.org/abs/2305.13245">https://arxiv.org/abs/2305.13245</a></li><li>DeepSeek-AI. (2024).DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model (MLA).<a href="https://arxiv.org/abs/2405.04434">https://arxiv.org/abs/2405.04434</a></li><li>Dao, T., et al. (2022).FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness.<a href="https://arxiv.org/abs/2205.14135">https://arxiv.org/abs/2205.14135</a></li><li>Beltagy, I., et al. (2020).Longformer: The Long-Document Transformer.<a href="https://arxiv.org/abs/2004.05150">https://arxiv.org/abs/2004.05150</a></li><li>Xiao, G., et al. (2023).*Efficient Streaming Language Models with Attention Sinks (StreamingLLM). *<a href="https://arxiv.org/abs/2309.17453">https://arxiv.org/abs/2309.17453</a></li><li>Kaplan, J., et al. (2020).Scaling Laws for Neural Language Models.<a href="https://arxiv.org/abs/2001.08361">https://arxiv.org/abs/2001.08361</a></li><li>Shazeer, N., et al. (2017).Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer.<a href="https://arxiv.org/abs/1701.06538">https://arxiv.org/abs/1701.06538</a></li><li>Radford, A., et al. (2019).Language Models are Unsupervised Multitask Learners (GPT-2).<a href="https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf">https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf</a></li><li>Brown, T., et al. (2020).Language Models are Few-Shot Learners (GPT-3).<a href="https://arxiv.org/abs/2005.14165">https://arxiv.org/abs/2005.14165</a></li><li>Ouyang, L., et al. (2022).Training Language Models to Follow Instructions with Human Feedback ( InstructGPT).<a href="https://arxiv.org/abs/2203.02155">https://arxiv.org/abs/2203.02155</a></li><li>Schulman, J., et al. (2017).Proximal Policy Optimization Algorithms (PPO).<a href="https://arxiv.org/abs/1707.06347">https://arxiv.org/abs/1707.06347</a></li><li>Rafailov, R., et al. (2023).Direct Preference Optimization: Your Language Model is Secretly a Reward Model (DPO).<a href="https://arxiv.org/abs/2305.18290">https://arxiv.org/abs/2305.18290</a></li><li>Bai, Y., et al. (2022).Constitutional AI: Harmlessness from AI Feedback (RLAIF).<a href="https://arxiv.org/abs/2212.08073">https://arxiv.org/abs/2212.08073</a></li><li>Wei, J., et al. (2022).Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.<a href="https://arxiv.org/abs/2201.11903">https://arxiv.org/abs/2201.11903</a></li><li>Liu, N. F., et al. (2023).Lost in the Middle: How Language Models Use Long Contexts.<a href="https://arxiv.org/abs/2307.03172">https://arxiv.org/abs/2307.03172</a></li><li>DeepSeek-AI (Guo, D., et al.). (2025).DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.<a href="https://arxiv.org/abs/2501.12948">https://arxiv.org/abs/2501.12948</a></li><li>Hinton, G., et al. (2015).Distilling the Knowledge in a Neural Network.<a href="https://arxiv.org/abs/1503.02531">https://arxiv.org/abs/1503.02531</a></li><li>Taori, R., et al. (2023).Alpaca: A Strong, Replicable Instruction-Following Model.<a href="https://crfm.stanford.edu/2023/03/13/alpaca.html">https://crfm.stanford.edu/2023/03/13/alpaca.html</a></li><li>Chiang, W.-L., et al. (2023).Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90% ChatGPT Quality.<a href="https://lmsys.org/blog/2023-03-30-vicuna/">https://lmsys.org/blog/2023-03-30-vicuna/</a></li><li>Yao, S., et al. (2022).ReAct: Synergizing Reasoning and Acting in Language Models.<a href="https://arxiv.org/abs/2210.03629">https://arxiv.org/abs/2210.03629</a></li><li>Leviathan, Y., et al. (2023).Fast Inference from Transformers via Speculative Decoding.<a href="https://arxiv.org/abs/2211.17192">https://arxiv.org/abs/2211.17192</a></li><li>Kwon, W., et al. (2023).Efficient Memory Management for Large Language Model Serving with PagedAttention (vLLM).<a href="https://arxiv.org/abs/2309.06180">https://arxiv.org/abs/2309.06180</a></li></ol><h1>补充资料</h1><img src="//img1.jcloudcs.com/cms/92197643-58d3-4f29-af2a-724fab412bc620260729152757.jpg" style="width: 250px; height: 167px;" width="250" height="167"/>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;<img src="//img1.jcloudcs.com/cms/8c658805-e810-4a64-b757-a3eddaa80ab320260729152757.png" width="258" height="172" style="font-size: unset; width: 258px; height: 172px;"/>