AI Word

アテンション機構

ひとことで言うと
入力の中の重要な部分に重み付けして注目する仕組み。トランスフォーマーの核心です。

一言でいうと：文章の中で、どの言葉に注目すべきかをAIが判断する仕組みです。

やさしく説明すると

「彼女は本を買った。それはとても面白かった」という文で、「それ」が指すのは「本」です。人間は自然にわかりますが、コンピューターには難しい。アテンション機構は、どの言葉がどの言葉と関係が深いかに重み付けをする仕組みで、これを可能にしました。

トランスフォーマーの中核をなす技術です。

AIが長い文章の文脈を保てるのは、この仕組みのおかげです。