Bert不完全手册1. Bert推理太慢？模型蒸馏

Bert不完全手册系列之模型蒸馏：模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。因此用一个小模型去逼近大模型的效果，实现的方式一般是Teacher-Stuent框架，先用大模型（Teacher）去对样本进行拟合，再用小模型（Student）去模仿Teacher。这里介绍包括Knowledge Distll，到PKD，DIstillBert，TinyBert等蒸馏方案，持续更新中～
posted @ 2022-03-08 08:42  风雨中的小七  阅读(1048)  评论(0)  编辑  收藏  举报