什么是遮蔽语言模型(MLM)

AI解读 2个月前 硕雀
45 0

遮蔽语言模型Masked Language Model,MLM)是一种自监督学习技术,其核心思想是在不依赖显式标注数据的情况下,通过遮蔽输入文本中的部分词汇,迫使模型利用剩余的上下文信息来预测这些被遮蔽的词汇。具体来说,MLM会随机选择输入序列中的一部分标记,并将它们替换为特殊的遮蔽标记(如[MASK]),然后训练模型去预测这些被遮蔽的标记。

这种训练方式使模型能够学习到词汇之间的语义关系和上下文依赖,从而更深入地理解单词之间的关系以及它们使用的上下文。与传统的从左到右的语言模型预训练不同,MLM目标允许表示融合左右上下文,这使得模型可以预训练一个深层双向Transformer。例如,在BERT模型中,MLM任务通常会随机屏蔽输入序列中的15%的标记,并训练模型去预测这些屏蔽的标记。

MLM最初由Taylor在1953年提出,并在BERT模型中得到了广泛应用。BERT通过MLM任务来预训练词的语义理解能力,并结合下一句预测NSP)任务来训练句子之间的理解能力。这种方法不仅提高了模型对语言的理解能力,还显著提升了各种自然语言处理任务的性能

来源:www.aiug.cn
声明:文章来源于网络,如有侵权请联系删除!