基于自注意力机制的语言模型，突破与潜力一、问题定义语言模型的目标是基于现有的语境预测下一个单词或字符，传统的语言模型，如基于n，gram或循环神经网络，RNN，的模型，在处理长文本时往往会出现信息丢失和梯度消失的问题，二、自注意力机制的原理…