知识蒸馏：让LSTM重返巅峰！

原创 · 作者 | 叶文杰

工作单位 | vivo 深圳AI研究院 NLP技术组

研究方向 | 自然语言处理

个人介绍 | 就读于东南大学二年级，在2020年8月至2021年1月在vivo 深圳AI研究院 NLP技术组实习，实习期间主要从事模型压缩与蒸馏的工作

1.开篇

去年年底，各大榜单上风起云涌，各路英雄在榜单上为了分数能多个0.01而不停的躁动，迫不及待地想要向外界秀秀自己的肌肉。

怎么回事呀，小老弟？

我们打开了中文NLP知名的评测网站CLUE，却看到……

怎么全是Bert和它的兄弟？

遥想4年前，还全是RNN，LSTM和CNN的天下，怎么转眼都不见了？LSTM不禁长叹：年轻人，不讲武德！欺负我这个25岁的老同志。

那么有没有办法让LSTM重新焕发青春呢？有！知识蒸馏！

2.什么是知识蒸馏？

知识蒸馏的思想很简单，就是让一个教师模型来指导学生模型，让学生模型学到教师模型的知识，而知识蒸馏的的核心也就是知识。

依据蒸馏所用的知识，可以把蒸馏分成三种：

• Response-based Distillation：学学教师最后的输出就够我喝一壶了。

• Feature-based distillation：中间层的知识也不能放过，毕竟神经网络最擅长的就是学习到层级信息。

• Relation-based distillation：这些表面的知识完全不够，还要深挖层与层之间的关系，样本与样本之间的关系。

  
  

而这些知识之所以有效，主要是因为隐含的特征 (dark knowledge) 无法在数据层面表示出来，模型可以学习到这些特征。One-hot 无法衡量类间的区别，知识蒸馏一定程度上起到了标签平滑的作用。比如说马，驴和树他们在标注上都是不同的，通过one-hot表示呈现的区别也一致，很显然，马和驴的相似性强于马和树，而我们的标注无法衡量这种相似性，但是我们的教师模型却可以学到这样的知识。

细看这些年的BERT蒸馏都是这些套路：

• DistilBERT: 学学教师最后的输出就够我喝一壶了

• PKDBERT: 中间层的我也都要学

• TinyBERT: embedding层的知识呢？我全都要！

TinyBERT对于知识的态度

既然能用蒸馏训练出一个性能强悍的小BERT，那可不可以用同样的方法来蒸馏LSTM，让他焕发第二春呢？

3.师夷长技以制夷

蒸馏的第一步是要选取一个表现优秀的教师模型，NER大榜的TOP1被RoBERTa抢先了，于是我们也选取RoBERTa作为我们的教师模型，在验证集上得分81.55。同时，在同样的训练集下训练双向LSTM，得分68.56。两者F1得分差距较大，直接尝试response-baseddistillation：

得分有所提升，但是和榜单上那个78、79的相比还是有很大的距离。这可怎么办？

这可怎么办？

有什么能进一步提升模型能力的方法，想想各类BERT都在几个T的数据上用几十块GPU训练了几百个小时，我们的LSTM只用个1万训练集当然不可能击败他们。我们也要用数据增强！

4.数据增强

CLUE NER的数据集是来源于清华大学开源的数据集THUCTC，所以我们尝试使用THU-News数据集进行增强。随机采样30万条进行测试。

这个0如此之纯粹，让人一度以为是不是跑错了代码，然后连续运行三次，得到的结果都是0！

我们赶紧拿到报告，找到里面的bad case（没有一条不是bad case），发现结果很直白，所有的预测全是O（非实体）。赶紧找来增强数据集出来看看，看到了这个：

THU-News新闻数据集-游戏部分

可以看出，大部分样本一个实体都没有，和我们的任务完全就不是相同的分布（skewed），用这种数据集来训练模型，训练出来的模型将所有的标签都认为成O（非实体）。

5.那么怎么从这些杂乱的数据集中提取出可以用作增强的数据集呢？

如果让人工来清洗数据集的话，对于数据增强需要几十几百倍的数据，NER标注数据有有一点难度。人工根本行不通！

鉴于我们在使用知识蒸馏训练模型，那能不能请教师模型来帮忙清洗数据？

我们进行了个大胆的尝试，不对数据集进行任何清洗，直接用教师模型对2000万的杂乱数据集进行推理，然后只保留了教师模型认为包含实体的数据：

教师模型辅助清洗后的数据

教师模型为我们选择的这份数据集干净的多，不包含无实体，无意义的句子。但是作为交换，原来的2000万数据集只剩下110万左右。

利用筛选后的数据集训练模型，得到：

CLUE NER 结果

不同增强数据集增强效果

可以看出，随着增强数据集数量的提升，学生模型效果也在逐步提升。使用110万数据集，验证集的分数可以达到79.68。继续增加数据，效果应该还会有进一步提升。提交到榜单上，测试集的分数可以达到78.299，CLUENER单项排第二名，众多的BERT中挤出了一个LSTM。

nice!

6. 总结

利用少量的训练集训练教师模型，随后收集增强数据集用来训练学生模型可以大幅提升学生模型的能力。这样在业务的初期，只需要利用少量的标注语料，便可达到一个相对可观的一个效果，并且在服务部署方面使用小模型可以完成对GPU的一个释放，实际测试中使用学生LSTMGPU加速比达到3.72倍，CPU加速比达到15倍。

而模型蒸馏这样一个teacher-student的框架，可以十分灵活的选择教师模型和学生模型选，比如教师模型可以通过集成选择一个最好的效果，学生模型也可以任意尝试各式的模型结构比如CNN，LSTM，Transformers。当然其他的模型压缩方法，比如说剪枝，近秩分解也可以与这样的一个框架结合。而对于数据增强，在实际业务中，我们无需去寻找额外的公开数据集，直接从实际业务中就能获取大量的数据来进行增强，这样省去我们筛选数据的时间，也能更好的提升模型的效果。

这样的一套框架在分类，意图识别槽位提取，多模态等相应业务中都取得了较好的效果，甚至在增强数据集到达一定程度时超过了教师模型的效果。

7. 参考文献

[1] Revealing the Dark Secrets of BERT. (EMNLP 2019)

[2] DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

[3] Patient Knowledge Distillation for BERT Model Compression

[4] TinyBERT: Distilling BERT for Natural Language Understanding

本文由作者授权AINLP原创发布于公众号平台，欢迎投稿，AI、NLP均可。

欢迎加入AINLP技术交流群
进群请添加AINLP小助手微信 AINLPer（id: ainlper)，备注NLP技术交流

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLPer(id：ainlper)，备注工作/研究方向+加群目的。