技术定义
以注意力机制和前馈变换组织序列信息处理的神经网络架构。
2017年的原始Transformer以注意力为核心，避免把循环或卷积作为序列建模的主要结构，并在机器翻译中验证。注意力机制已有更早工作，不能把其起源归于同一论文。
后续模型采用不同的编码器、解码器或组合形式；Transformer架构与大语言模型的训练规模和任务不是同一个概念。
原理与影响
解决的问题
- 改善序列模型的信息交互方式和训练并行性。
核心原理
- 使用注意力在输入位置之间聚合信息，并结合位置表示与前馈变换。
相对前代的改进
暂无记录
技术意义
- 成为多类现代语言与其他模态模型的重要结构。
历史与应用
人物
Ashish Vaswani、Noam Shazeer
组织
暂无记录
事件
暂无记录
典型应用
机器翻译、语言建模
留下的局限
- 标准全注意力的计算与内存随序列长度增长，架构本身不保证事实正确。
上下游关系
上游
下游
证据：Language Models are Few-Shot LearnersAttention Is All You Need