基于AIGC的京东购物助手-京东云开发者社区

## 灵感来源
随着AIGC的爆火，ChatGPT，GPT-4的发布，我作为一个算法工作者，深感AI发展的迅猛。最近，OpenAI的插件和联网功能陆续向用户公开，我也在第一时间试用了这些最新的功能。在OpenAI的插件市场上，我被一个可以帮助分析食谱，并生成购物清单的功能所吸引。我开始思考，如果我能够基于京东商城和AIGC的能力，帮助用户分解需求，在商城搜索相关商品，并直接返回他们想要的商品，甚至将所需商品直接加入到购物车，待后续用户结账购买，那将会是多么方便。
## 技术方案
### 方案设想
虽然我不清楚OpenAI上的Plugins是如何将OpenAI与插件所对应的网站结合的具体细节，但我认为大致的思路应该是这样的：通过GPT去判断用户的意图，如果OpenAI察觉到用户有插件对应的意图，它就去调用插件，从而提供服务。另外，由于我没有京东内部的搜索查询，购物车等接口，所以我暂时通过自动化测试软件模仿人类点击查询等操作来提供服务。
### 方案逻辑
我想做一个购物助手，并且只想做一个POC验证，所以技术上一切从简。大致的技术细节如下图所示：
![技术方案.drawio.png](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-05-18-14-546wJMfyFA79CBK24l.png)
在开始的时候，通过Prompt，让GPT判断用户意图。如果GPT判断出用户有购物意图，那么它将分解需求，并生成推荐的物品。然后，通过Selenium等框架操纵浏览器在京东商城进行搜索，将目标商品的商品名称，价格，链接进行整合返回给GPT。最后，GPT将这些信息整理成markdown格式的文档，交给用户阅读。

简单地说，我用Gradio搭建前端界面，OpenAI提供AIGC支持，Selenium进行网络操作。

## 结果展示
### 样例1
**输入：**
 <img src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-05-18-15-25r9EbnXcZ25L0iYeP.png" width = "500" height = "350" alt="7a9fa484103971aa.png" align=center />

**输出：**
<img src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-05-18-15-25LxwinHFuSlH18T3O.png" width = "500" height = "350" alt="20AA968D-727B-4FFF-9D3F-96D3845E1327.png" align=center />

### 样例2
**输入：**
 <img src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-05-18-15-3211h32e32o18gQm0NuAz.jpg" width = "500" height = "350" alt="8fa7047689e5019a.jpg" align=center />

**输出：**
<img src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-05-18-15-32jmezzq5nYGmxRtD.png" width = "500" height = "350" alt="2c8bbea7ee99e31c.png" align=center />

### 样例3
**输入：**
<img src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-05-18-15-40HtqIAGGtCdgLJR8.jpg" width = "500" height = "350" alt="cd715a6fc10ace3e.jpg" align=center />

**输出：**
<img src="https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2023-05-18-15-43RUVPXKy26UskGNPK.png" width = "500" height = "350" alt="250e21b861e4c2e6.png" align=center />
## 改进方向
虽然现在的工具使用还是比较简单，对于用户意图也只是手动判断，但未来有很大的改进空间。我计划通过LangChain等框架，搭建自动化代理平台，并整合商城知识库，让AI购物助手能向线下商城导购员趋同。这样，我们就可以提供更加个性化和高效的购物体验。