Transofrmer一个常见的自监督目标是遮罩文本中出现的单词，将该位置的query, key和value向量与其他单词进行比较，计算出注意力权重并加权平均，再通过全连接层、归一化层和残差连接来产生新的单词向量，再重复多次增加网络的深度。
2023-09-07 16:04
这个问题涉及到的更本质的问题，就是语言学的structure在深度学习的框架下有多重要 (因为词是一种基本的语言学structure)。这个问题近两年学者有不同的争论，有兴趣的同学可以看 manning 和 lecun的 debate。
2019-07-18 14:26
