AliExpress：在检索式问答系统中应用迁移学习 | PaperDaily #24

工业界问答系统存在着特定领域标签数据的严重不足的问题，并且对响应速度有着比较严格的要求。

针对第一个问题，作者使用了迁移学习框架，并在传统迁移学习框架上引入了一个半正定协方差矩阵来对领域内及领域间信息权重进行建模；针对第二个问题，作者放弃了精度更高但耗时很长的 LSTM-based 模型，采用了精度稍低但速度更快的 CNN 模型。

作者除了在线下对语义识别（Paraphrase Identification）任务和自然语言推断（Natural Language Inference）任务进行实验外，还发布到 AliExpress 上进行在线评测。

本文模型除了在准确率、精度等方面稍逊于 state-of-art LSTM-based 模型外，均好于其他的对比模型，并且响应时间快，能满足工业用需求。

如果你对本文工作感兴趣，点击底部的阅读原文即可查看原论文。

关于作者：麦振生，中山大学数据科学与计算机学院硕士生，研究方向为自然语言处理和问答系统。

■ 论文 | Modelling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce

■ 链接 | https://www.paperweekly.site/papers/1312
■ 作者 | Zsank

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

文章亮点

在传统迁移学习的框架上，引入了半正定协方差矩阵，对输出层的域内以及域间信息权重进行建模；

鉴于工业界对响应时间的追求，放弃了精度更高的 LSTM，而采用基于句子编码的 CNN 和基于句子交互的 CNN 混合；

引入对抗损失，增强 shared 层的抗噪能力。

模型介绍

1. 问答系统工作流程



如图所示，用户提出 Query Question，进行预处理后，从 QA Pair 数据库中使用 Lucene 工具检索出 k 个最相关的 QA 对，然后对相关问题进行排序，返回最相关问题的回答。 使用到的技术有语义识别（Paraphrase Identification）和自然语言推理（Natural Language Inference）。