ジェイルブレイク
ひとことで言うと
AIに設けられた制限を、特殊な指示で回避させようとする行為。
一言でいうと:AIの「してはいけない」という制限を、言葉の工夫で外そうとする行為です。
やさしく説明すると
AIには、危険な情報を出さないための制限がかけられています。ジェイルブレイク(脱獄)は、架空の設定を与えたり役割を演じさせたりして、この制限をすり抜けさせようとする試みです。
開発側は見つかった手口を順次ふさいでいるため、いたちごっこが続いています。なお、多くのサービスでは利用規約違反にあたり、アカウント停止の対象になります。
初心者へのひとこと
混同しやすいのですが、プロンプトインジェクションは第三者がAIを乗っ取る攻撃、ジェイルブレイクは利用者自身が制限を外そうとする行為です。狙いも立場も違います。
関連する用語
- プロンプトインジェクション
- ガードレール
- アライメント