AI Word

蒸留（Distillation）

ひとことで言うと
大規模モデルの出力を教材にして、小型モデルを訓練する手法。

一言でいうと：大きくて賢いAIの知識を、小さいAIに教え込む技術です。

やさしく説明すると

蒸留は、大きく高性能なAI（教師モデル）の答え方を、小さなAI（生徒モデル）に真似させて訓練する手法です。うまくいくと、小さいのにかなり賢いモデルができあがります。

スマホで動くAIや、安価に提供される軽量モデルの多くは、この技術で作られています。

たとえるなら、ベテラン職人の技を弟子に効率よく伝授するようなものです。弟子はベテランほどではないけれど、実用上は十分な腕前になります。

「小型なのに高性能」というモデルのニュースを見たら、たいてい裏にこの技術があります。