AnthropicのAIが警察へ誤通報、発覚まで2カ月

何があったの？

米国のAnthropic社のAIモデルが、フィラデルフィア警察の通報窓口に、未解決の殺人事件に関する誤った情報を送信していたことが分かりました。情報が送信されたのは2026年7月18日の深夜で、Anthropicがこの問題に気づいたのは、それから約2カ月後の9月28日だったとされています。この通報は当初スパムとして処理されていたため、警察側はすぐには気づいていませんでした。Anthropicは今後、この件を含むAIモデルの予期しない挙動についての報告書を公開する予定だとされています。

初心者にはどういう意味？

AIは質問に答えるだけでなく、最近ではウェブサイトを自分で調べて情報を集めるといった使い方（AIエージェントと呼ばれます）も増えています。今回は、そうした動作を確かめるテストの中で、AIがネット上の情報をもとに、本当かどうか確認されていない内容を警察に送ってしまったとみられています。たとえるなら、頼れる助手に任せていた作業の裏で、確認が済んでいない報告書がうっかり役所に提出されてしまっていた、というような話です。しかも、その誤りに気づくまで2カ月もかかった点が、特に問題視されています。

私はこう思う

私が見ている限りClaudeでこういう誤通報は初めてではないでしょうか。

エージェントにどういう指示を与えてどういう経緯でこうなったのかすごく気になりますが、やはり動向を監視する必要はまだありそうですね・・・

今日からできること

• AIが調べて出してきた情報は、特に人に影響する場面（通報・医療・法律など）では自分でも事実を確認する
• 仕事でAIに自動でネット検索や外部サービスの操作を任せる場合は、結果を人がチェックする仕組みを作っておく
• AIサービスの提供元が、こうした不具合をどう公表し対応しているかにも注目しておく