スケーリング則
ひとことで言うと
モデルの規模・データ量・計算量を増やすほど性能が上がるという経験則。
一言でいうと:大きくすれば賢くなる、という経験から見つかった法則です。
やさしく説明すると
スケーリング則(Scaling Laws)は、モデルの規模、学習データの量、計算量を増やすと、性能が予測できる形で向上するという経験則です。ここ数年のAIの急速な進歩を支えてきた考え方です。
ただし、いつまでも通用するわけではありません。良質なデータの枯渇や電力・費用の壁が指摘され、規模を増やす以外の工夫に注目が移りつつあります。
初心者へのひとこと
AIの進歩が「このまま同じ勢いで続くのか」という議論は、この法則がどこまで通用するかという話です。ニュースを読むときの補助線になります。
関連する用語
- パラメータ
- 学習データ
- AGI