
G検定対策 究極カンペをつくろう#4 Attention(Transformer構成要素、モデルアーキテクチャの系譜、 Attention基本概念、自己注目と多視点処理、Attention計算構造)
Seq2SeqからTransformerへの進化により、自然言語処理は理解系(BERT)と生成系(GPT)に分岐した。AttentionはSelf・Multi-Head・Encoder-Decoder型に分類され、Query・Key・Valueによる計算構造が中核を成す。位置エンコーディングや残差接続などの補助構成要素が、Transformerの性能と安定性を支えている。