当前，人们所提到的预训练主要是指大规模预训练模型，特别是预训练语言模型，但这种理解其实是有一定局限的。在自然语言处理领域，预训练模型确实取得了非常突出的进展，一般是指通过无监督或自监督等技术把人类的语言知识预先学习成一个模型，然后再代入到某个具体任务中进行“微调”。但从广义上来讲，预训练在机器学习中由来已久，在深度学习早期发展中也发挥了重要作用。目前流行的大规模预训练模型，在自然语言处理之外（比如图像）的领域也取得了很多重要进展。
此文由 怡心湖 编辑，若您觉得有益，欢迎分享转发！：首页 > 常识论 » 什么是自然语言的预训练？