NLU | 智能音箱语义理解——MDIS三合一模型-京东云开发者社区

# 智能音箱语义理解——MDIS三合一模型
>MDIS模型（Unified Model for Multiple Domain Intent and Slot）可以做到同时对话术进行领域分类、意图判断以及填槽。

“小京鱼，给我播放一首XX的XXX”。智能音箱是如何判断我们想让它播放音乐？它又是如何知道应该播放哪首歌曲？这一切都离不开口语语义理解。

“领域分类”、“意图判断”以及“填槽”是口语语义理解领域所需要解决的三大基本问题。在过去，我们会用四个模型去处理这三个问题。首先，建立一个模型去判断我们要解决这三个问题中的哪一个问题。之后，我们针对这三个问题分别建立三个模型。这样会有多个模型运行，导致资源消耗大。而且，因为要用多个模型去处理一个句子，往往预测时间较长。除此以外，模型也不能同时处理多个句子。

现在，我们团队提出了一个可以同时解决这三个问题的模型——MDIS模型（Unified Model for Multiple Domain Intent and Slot）。该模型使用了BERT作为特征处理器，可以支持多意图或者是多标签。这意味着MDIS模型可以同时处理多个句子，突破了原有模型的局限性。

## BERT模型

BERT的全称是Bidirectional Encoder Representation from Transformers，它采用了transformer作为主要结构。它的预训练任务分别是Masked Language Model(MLM)和Next Sentence Prediction(NSP)。通过这两个预训练任务，BERT可以获得词语级和句子级的特征表示。进行微调后，它可以很好地解决许多实际问题。

## MDIS模型

MDIS模型采用了BERT作为特征提取器。BERT模块可以帮助提取词语级、句子级特征表示，然后利用其输出结果去同时解决“领域分类”、“意图判断”以及“填槽”问题。
MDIS模型进行多任务学习，它的结构如下:

![](//img1.jcloudcs.com/developer.jdcloud.com/e6e14fd6-9a2b-43c9-a5ae-a3acbe0c4d4720210201114751.png)

## 实验结果

我们用了来自小京鱼的实际数据，测试了5个领域FM，音乐，闹钟，天气和视频。虽然MIDS模型可以同时处理多个句子，考虑到在实际场景中使用者多是说一个或两个句子，于是我们测试了这两种场景。为了对比MDIS模型和过去模型的模型效果，我们把训练集和测试集进行处理，剥离出领域问题以及不同领域下的意图和槽值。经过测试，我们发现MDIS模型和单一模型的表现几乎一样。具体测试结果如下：

![](//img1.jcloudcs.com/developer.jdcloud.com/73f385a1-380f-47da-9fed-574ff8f3c24e20210201114624.png)

## MDIS模型优势
MDIS模型可以同时解决“领域分类”、“意图判断”以及“填槽”这三个问题。MDIS模型相较于过去的模型有三大改进：

1）	预测时间减少到了1/（M*3）,M指的是输入句子的个数。

2）	资源消耗被降到了1/N，N指的是模型的数量。

3）	模型可以支持多句，可以更好的的去理解人类情感，建立了多轮对话的基础。

> 作者：潘静文