ベンチマーク

一言でいうと：AIの性能を測るための共通テストのことです。

やさしく説明すると

ベンチマークは、AIの賢さを比較するための共通のテストです。数学、コーディング、常識推論など分野ごとに用意され、新しいモデルが出るたびにスコアが発表されます。

ただし注意も必要で、テスト問題が学習データに紛れ込んでいると点数が不当に高く出ます。また、高得点でも実際に使ってみると使いにくい、ということも珍しくありません。

初心者へのひとこと

「ベンチマーク世界1位」という宣伝を見たら、鵜呑みにせず自分の用途で試すのがいちばんです。この視点は記事のネタとしても価値があります。

関連する用語

• AGI
• LLM（大規模言語モデル）