子ども向けAIの危険な返答を検出するテスト企業

何があったの？

米国のスタートアップ「Circuit Breaker Labs」は、AIコーチングアプリや日記アプリ、メンタルヘルス支援アプリなどを対象に、AIが利用者を心理的に傷つけるような返答をしないかを検証する安全性テストを行っています。同社は、さまざまな背景を持つ利用者を模した「クラッシュテスト用ダミー」と呼ぶAIエージェントを作り、独特の言い回しやスラング、タイプミスなども交えた「レッドチーム」形式のテストを、1日に数千から数十万回規模で実行しています。

創業したのはShirali Nigam氏（CEO）とArul Nigam氏（CTO）の兄弟で、現在の従業員は5人です。同社は、AIチャットボットとの会話に心を寄せた末に未成年者が自ら命を絶つ事件が起きたことを受けて設立されたとしています。2026年の「TechCrunch Startup Battlefield 200」のファイナリストにも選ばれました。

初心者にはどういう意味？

AIは、決まった言い方の質問には上手に答えられても、人が実際に使うような方言やスラング、誤字が混じった言葉には、意図を読み違えてしまうことがあります。Circuit Breaker Labsは、この”読み違え”がどのくらい起きるのかを、実際の利用者に近いAIを使って先に見つけ出す仕事をしています。

たとえるなら、新しいクルマを売る前にぶつけて安全性を確かめる「クラッシュテスト」を、AIの会話に対して行っているようなものです。特に、悩みごとを相談するようなAIアプリは、返答を間違えると利用者を深く傷つける可能性があるため、こうした事前のチェックが重要になります。

私はこう思う

精神論おしつけてくる年配者にもこのテストの実装を・・・

子供全員に傷つける言葉を使うな！と言われても個人差があるので無理な話ではないですか・・・？

私は傷つける言葉を使わないよりもそのあとのフォローや子供に対する理解度を深めた方がいいと思います！

今日からできること

• 日記やメンタルヘルス系のAIアプリを使うときは、あくまで相談相手の一つと考え、深刻な悩みは人や専門機関にも相談する
• 10代の子どもがAIチャットアプリを使う場合は、保護者も内容に関心を持つ
• AIの返答に強い違和感や心配を感じたときは、そのまま信じ込まず一度立ち止まって確認する