AI評価(エバリュエーション)
ひとことで言うと
AIモデルの性能や安全性をテストで確かめること。
一言でいうと:AIモデルの性能や安全性を、さまざまなテストで確かめることです。
やさしく説明すると
AIの評価には、問題を解く力を測る「性能の評価」と、危険な使われ方をしないか、指示どおりに動くかなどを確かめる「安全性の評価」があります。英語では「Evals(エバルズ)」と略されることもあります。
新しいモデルは公開前にこうした評価を受け、結果によっては公開が見送られることもあります。開発会社だけでなく、外部の専門チームに評価を任せる動きも広がっています。
たとえるなら
新車を売り出す前に行う、性能テストと衝突安全テストのようなものです。
初心者へのひとこと
「〇〇の評価で好成績」というニュースを見たら、それが性能の話なのか、安全性の話なのかを分けて読むと理解しやすくなります。
関連する用語
- ベンチマーク
- レッドチーミング
- アライメント