AI Word

レッドチーミング

ひとことで言うと
あえて攻撃者の立場でAIを試し、公開前に弱点を洗い出す検証手法。

一言でいうと：わざと意地悪な質問をぶつけて、AIの弱点を公開前に探す作業です。

やさしく説明すると

レッドチーミングは、もともと軍事や情報セキュリティの用語で、味方の中に攻撃側の役（レッドチーム）を立てて守りを試すことを指します。AI開発では、公開前に専門家が危険な質問や巧妙な誘導を大量に試し、問題のある応答を洗い出します。

見つかった弱点は学習や制限の調整に反映されます。主要なAI企業が公開する安全性レポートは、多くがこの作業の結果をまとめたものです。

AIを仕事に導入するときも、同じ発想が役立ちます。使い始める前に、わざと困らせる質問を20個ほど試してみる。それだけで「任せてよい範囲」の見当がつきます。