MoE（Mixture of Experts）

一言でいうと：複数の専門家を用意して、質問ごとに必要な人だけ呼び出す仕組みです。

やさしく説明すると

MoEは、モデル内部を複数の専門ブロック（エキスパート）に分け、入力に応じてその一部だけを働かせる設計です。総合病院で、症状に合った診療科にだけ回されるのに似ています。

全体の規模は大きくしつつ、1回の処理で動くのは一部だけなので、速度と費用を抑えられます。近年の大規模モデルの多くがこの構造を採用しています。

初心者へのひとこと

「パラメータ数が巨大なのに応答が速い」モデルを見かけたら、たいていMoEです。数字の大きさだけでは性能も重さも測れない、という例でもあります。

関連する用語

• パラメータ
• LLM（大規模言語モデル）
• 推論（Inference）