3浏览
引言
随着 AI 技术的快速迭代与深度应用，团队11 个场域（面向不同的政企采购场景）对 AI 能力的需求持续攀升，且在交互形式、业务编排、系统对接等维度呈现出显著的共性需求。但缺乏统一的 AI 技术底座与架构规范，并且业务端为规避对商城核心系统的影响，采用独立部署模式搭建AI服务，导致多端重复建设问题突出，资源浪费严重，也制约了 AI 能力的快速复用与落地效率。
破局之道：组织各业务线开展需求调研与场景梳理，聚焦共性需求与差异性，打造可复用、高适配、低耦合的统一 AI 服务底座，从根源破解多端重复建设难题，同时实现与商城核心系统解耦，支撑各业务线 AI 场景快速接入和差异化适配。
那么以下就详细介绍一下政企前台AI-Agent的架构实践，希望给大家在各自领域的 AI 应用建设上提供一些思路。
交互抽象-三类核心交互方式
按照第一性原理，我们对需求和场景进行提炼，抽离出流式输出交互、异步长任务处理、实时高并发查询三类核心交互方式，明确各场景的执行特点、性能及体验诉求，确保架构贴合业务实际需求。
1️⃣ Chat 流式输出（SSE）：实时感知、分段反馈、交互连贯；2️⃣ 异步长任务处理：任务解耦、异步执行、结果推送、可追溯；3️⃣ 实时高并发场景：相似问题、高吞吐、低延迟、缓存兜底、较少 Token 消耗。
第一性原理（the First Principle Thinking）是指从系统中最基本的命题或原理出发进行逻辑推理的方法，其核心在于打破知识壁垒，回归事物本源寻求本质性解答。 广义上，该原理强调每个领域都存在无需证明的底层真理，并主张通过演绎法进行思维推演，而非依赖经验归纳。
| 交互方式 | 核心定义 | 典型业务场景 | 执行特点 | 性能与体验诉求 | 关键技术考量 |
|---|---|---|---|---|---|
| 1. Chat 流式输出 (SSE) | 基于 Server-Sent Events 技术，实现服务器向客户端持续、单向推送数据流的交互模式。 | 智能问答、实时数据监控、内容生成（如文案/代码）、分步引导式操作。 | 实时感知：请求发出后立即建立连接并开始接收数据。 分段反馈：将完整响应拆分为多个“数据块”逐步返回。 交互连贯：在持续的数据流中保持对话上下文，支持中途打断或追问。 | 低延迟首包：用户发出请求后，应在毫秒级内收到首个数据块，以建立即时反馈感。 流畅无卡顿：数据块传输需稳定、连贯，避免长时间停顿破坏交互沉浸感。 上下文保持：需在长连接中有效管理会话状态，确保多轮对话的连贯性。 | 连接管理：需处理大量并发长连接，关注服务端资源开销与连接保活。 流量控制：防止过快的数据推送导致客户端缓冲区溢出或渲染卡顿。 错误与重连：设计优雅的连接中断处理与自动重连机制。 |
| 2. 异步长任务处理 | 将耗时任务从同步请求链路中解耦，提交后异步执行，并通过通知机制推送最终结果。 | 大数据报表生成、复杂数据同步/ETL、批量数据处理。 | 任务解耦：用户请求与任务执行分离，快速返回任务受理凭证（如任务ID）。 异步执行：任务在后台队列中调度，由专用工作节点执行。 结果推送：任务完成后，通过消息、Webhook或轮询接口通知用户。 状态可追溯：提供任务状态查询、进度查看及历史记录回溯能力。 | 高可靠性：确保任务不丢失、不重复执行，具备失败重试与补偿机制。 结果准确性：保证异步处理结果与同步处理一致，数据完整无误。 进度可感知：尽可能提供任务执行百分比或阶段性成果预览，降低用户等待焦虑。 | 任务队列与调度：选用可靠的消息队列（JMQ）并设计合理的优先级与调度策略。 状态持久化：持久化存储任务元数据、状态、结果及执行日志。 结果通知：集成多种通知渠道（回调接口），确保用户能及时获知结果。 |
| 3. 实时高并发查询 | 面向海量相同或相似请求，提供高吞吐、低延迟的数据查询服务，通常结合缓存优化。 | 热门商品信息查询、公共配置读取、FAQ知识库问答、实时风控规则匹配。 | 相似问题：大量请求内容高度相似或可归一化为有限的关键字/模式。 高吞吐：系统需具备每秒处理数万乃至更高QPS的能力。 低延迟：P99响应时间需控制在毫秒级别，确保用户体验流畅。 缓存兜底：广泛使用多级缓存（内存缓存、分布式缓存）来减少对底层数据源的直接访问。 | 极致响应速度：平均响应延迟是核心指标，需通过架构优化持续压降。 高可用性：必须保证服务在极高负载下的稳定性，避免雪崩效应。 成本效益：通过缓存、请求合并等技术，显著降低对计算资源（如Token消耗）和数据库的访问压力。 | 缓存策略：设计合理的缓存键、过期时间、更新策略（旁路缓存、写穿透）及多级缓存架构。 请求聚合：对短时间内相同的请求进行合并，只向后台发起一次查询。 降级与限流：实施完善的限流、熔断和降级策略，保护后端服务。 无状态设计：服务节点应无状态化，便于水平扩展以应对流量洪峰。 |
技术破局-可复用的 AI 服务平台
整体架构：为高效支撑 Chat流式输出、异步长任务处理、实时高并发查询 三类核心交互场景，并确保架构的灵活性、可维护性与业务贴合度，设计并落地了 “交互接入层 - 意图解析层 - 业务编排引擎层 - 服务适配层” 分层架构。各层职责清晰、承接有序。
整体架构设计图
架构解读
交互接入层：统一承接业务请求做鉴权、灰度，规范三类交互出入参，完成校验、状态及上下文管理复用能力，通过不同的消息类型与配置化能力支撑页面多形式渲染；包括推理前加载：加载用户及场景数据。
意图解析层：承接接入层请求，调用不同的AI 服务，解析用户 / 业务意图，提取核心参数并校验，生成输出结果以及将非结构化请求转化为结构化指令，并支持模型配置化切换（降级&深度思考&联网搜索）；
业务编排引擎层：接收结构化指令，结合全局上下文中的渠道信息与三类核心交互场景做对应的差异化配置或者流程编排，完成模型推理内容的实时数据封装，作为模型推理过程中的业务数据输出。
服务适配层：基于全局上下文中的渠道信息，以设计模式实现各渠道业务接口隔离与适配，封装各渠道接口并做参数映射、容错处理，实现与商城核心系统彻底解耦，兼顾能力统一与渠道适配。
从页面、服务、智能体三个维度已实现的 AI 复用能力：
AI 采购管家
“AI采购管家”是一款深度集成于京东政企采购生态的智能导购与转化系统。其核心目标是通过对话式交互与精准商品匹配，系统性解决传统关键词搜索在政企复杂采购场景中存在的效率低下、体验割裂、决策困难三大痛点，最终实现订单转化率与客户满意度的双重提升。
其中通过“京言”运用自然语言处理（NLP）与大语言模型（LLM）能力，理解用户模糊、多轮或场景化的复杂需求（如“为200人团队采购办公用品，预算人均500元”），替代传统的关键词拼接，实现 “对话即搜索” 的自然交互体验。然后依托 “千客千池” 客户细分与商品推荐引擎。根据政企客户的属性（行业、规模）、历史采购行为、所属专属客户池标签，进行个性化商品初筛。这确保了召回的商品池不仅相关，更贴合客户的长期偏好与采购惯例。并且在业务编排中深度对接政企前台价格体系，将客户独有的合同价、协议价、阶梯促销价作为核心排序与过滤因子。确保最终呈现的商品不仅匹配需求，更具备最优的商业条款与价格竞争力，为最终转化奠定坚实的信任基础。有效的将政企客户非结构化需求高效转化为可执行的采购决策。
目前，“AI采购管家”已成功覆盖 京东慧采、京东企业购、京东内购 等核心政企采购产品线，完成了从试点到规模化应用的过程。后续会持续覆盖其他场域及客户范围。
京东内购场域部分截图示例
AI 问答助手
为高效响应政企客户在多业务场景下的服务需求，基于 政企前台 AI 服务统一平台及JoyAgent企业级智能体平台，构建支持渠道路由分发的场域化智能问答助手。通过统一的智能入口，将客户请求精准路由至各场域专属的智能体服务，并深度融合行业与产品知识，为客户提供精准、高效、一站式的智能问答与业务支持。
京东内购企业管理端及 VOP 开放平台问答助手截图示例
目前，“AI问答助手”已成功覆盖 京东内购、京东VOP 等政企采购产品线，服务上千家政企客户，在推进过程中，我们也遇到了一系列技术挑战，包括：RAG检索准确率不足导致知识召回不精准；问答泛化能力有限，难以应对复杂、多变的真实业务提问；以及工作流执行在复杂场景下的稳定性和灵活性问题。很多细节就不多赘述，如果感兴趣，可以私下交流。后续问答助手也会不断增加知识库行业知识及更多场域内的个性化能力。
| 覆盖场域 | 服务对象 | 核心知识范畴 | 典型问答场景 | 核心价值与功能 |
|---|---|---|---|---|
| 京东内购 (员工福利平台) | 企业员工、HR及采购管理员 | 员工福利管理、积分兑换规则、订单与账单查询、权限配置、活动运营 | “如何为员工发放福利额度？” “积分兑换订单如何取消？” “如何查看部门采购报表？” | 1. 智能福利导购：解答福利政策、商品使用规则、活动参与方式。 2. 订单与账户管理：查询订单状态、余额、兑换记录等。 |
| 京东VOP开放平台 | 企业开发者、系统集成商、采购决策者 | API接口文档、对接流程、技术问题排查、商品与服务管理、结算与发票规则 | “如何获取商品池列表接口？” “订单状态同步失败如何解决？” “企业专享价格如何申请？” | 1. API与集成支持：解答开放接口调用、技术对接、报错排查等问题。 2. 采购流程咨询：指导采购流程、合同管理、结算对账等业务操作。 3. 最佳实践与方案：提供基于行业场景的系统集成与采购优化方案。 |
AI 清单选品
AI清单选品是一款面向政企客户的智能采购工具，旨在通过多模态需求解析与多轮对话确认，将传统的清单式采购转化为高效、精准的智能选品流程，显著提升采购效率与选品准确性。
核心功能：1、多模态清单上传与解析支持格式：客户可上传结构化的Excel/CSV采购清单表格，或包含商品信息的图片/扫描件。智能解析：系统利用OCR与NLP技术，自动提取商品名称、规格参数、预算、数量等关键需求字段，并识别模糊或缺失信息。2、多轮对话式需求确认意图澄清：针对解析出的模糊项（如“高性能笔记本”、“办公用品一批”），系统主动发起多轮对话，引导客户明确具体品牌、配置、品类等细节。需求补全：自动识别清单中的信息缺失（如未指定品牌、预算范围），通过问答交互进行补全，确保需求完整性。3、快速智能选品与推荐精准匹配：基于确认后的结构化需求，结合政企价格体系、客户历史采购数据及库存状态，从企业专属商品池中实时匹配并排序推荐最符合要求的SKU。
目前已覆盖京东慧采、京东企业购两个政企采购产品线。在过程中，也遇到了很多技术挑战，这里就简述一个案例：比如针对表格或图片的大文本解析问题，面临低参数模型的输出限制以及 JoyAi750B非深度思考的长耗时问题。解决方案：通过大模型完成表头或前三行的语义映射（「列索引→语义字段→数据类型」），然后根据映射结构通过工程解析完成全量文件的解析。优化效果：整体速度较全量大模型解析提升 10 倍以上。输出Token 消耗降低 90%，避免大模型全量处理的高成本。近期也在针对部分品类推品准确率的优化，大家有感兴趣的，也可以评论区或者私聊交流。
慧采AI 清单选品示例图
那以上是页面级 AI 组件的简介和复用情况，还有很多关于服务能力和智能体能力的（比如 AI 商详评价、活动名称推荐、交易挽单话术、活动报告、商详识图等等），时间有限就不过多赘述了，后续再给大家同步。
总结展望
不止是爆火的龙虾，还是各种Skills，MCP、Agent，脱离的具体的场景谈方案，最后只会是一场空。
这一套可复用的 AI 服务平台，截止目前，通过前后端对接规范文档，多项能力已快速接入到各个场域的不同端平台，大幅降低研发成本， 并且各业务线新场景的接入从原来的 “开发驱动” 转为 “配置驱动”，接入周期从天维度缩短至小时级。并且通过分层架构及全局上下文的渠道、租户隔离，所有 AI 服务的开发、迭代均不涉及各端商城核心系统的修改，实现与各端商城核心系统 0 耦合，落地至今未发生一次因 AI 服务上线变更引发的商城系统故障。为后续政企业务 AI 场景的持续升级奠定了可复制、可扩展的架构基础。
未来我们会持续在现有采购流程节点（管理→寻源→选品→议价→交易→交付→结算→售后等）中，针对每个环节的具体业务痛点开发各场域复用的AI能力，扩展更复杂的多步骤、长周期、跨系统的业务流程自动化能力（如全流程采购审批、自动对账等），实现政企采购全链路场景化AI落地，为政企客户构建“阳光合规+降本增效”的数智采购供应链提供可复制的标杆方案。
大家在 AI 场景应用中，都遇到过哪些问题，欢迎评论区留言交流。
