标签：架构

Transformer架构原理剖析：深入理解底层机制

Transformer是近年来深度学习领域最重要的架构之一，它彻底改变了自然语言处理，也延伸到了计算机视觉、语音识别等领域。但很多人对Transformer的理解，只停留在"注意力机制"这个层面，对它的底层原理和架构细节，理解得不够深入。今天，我们来深入剖析Transformer的架构原理，从注意力机制到编码器解码器，…

用了三年Transformer架构，我才明白这些道理

Transformer架构出来已经三年多了，从最开始的论文，到BERT、GPT，再到现在各种预训练模型层出不穷，Transformer已经成为NLP领域的标配。我用了三年Transformer，从最开始的看不懂论文，到后来能自己实现、调优、落地，踩了不少坑，也积累了一些经验。今天分享一下我用Transformer的一些…