アメリカのユーザーのチャット記録に関する調査によれば、33%の人工知能チャットボットユーザーが大型言語モデルに対して粗野な言葉や侮辱を使用したことがある。Anthropicはその使用ポリシーを更新し、ユーザーが持続的かつ不必要に自社製品Claudeを虐待または残酷に扱うことを禁止した。関連する条項は11月12日に発効する。
この調査は2025年9月から2026年9月までの約800万件の匿名情報を分析した。これらの情報は自発的に参加したアメリカのユーザーから得られ、ChatGPT、Gemini、およびClaudeのテキストおよび音声入力に関するものである。結果として、ユーザーがチャットボットに対して侮辱を行った場合、次回の応答で最初の問題を解決できる割合は24%であった。一方、侮辱的な言葉を使用しなかった場合、その割合は35%であった。
調査によると男性ユーザーの粗野な言葉の使用頻度は女性よりも高い
集団の違いを見ると、男性は1万語あたり22回の罵倒語を使用し、女性は16.5回であった。35歳から44歳のユーザーは1万語あたり21.7回の罵倒語を使用し、18歳から24歳のユーザーは13.3回であった。地域別では、ネバダ州は1万語あたり22.7回の罵倒語が出現し、ニュージャージー州の割合はその約半分であった。
調査はまた、52%の侮辱的な情報が3つの問題の後に発生していることを示した。これには、チャットボットが指示に従わない、誤ったまたは虚偽の回答をする、ユーザーの要求を誤解することが含まれる。さらに、8%の侮辱はチャットボットが要求を拒否したり、安全規則の提示を行った後に続いており、関連する要求の大半は、リアルな人間や有名人の画像生成、特定のアーティストの文案や歌詞の模倣に関するものであった。
Anthropicは、新しい規則が明確な目的のない繰り返される残酷行為を対象としていると述べた。学術研究などの合理的な目的を持つシナリオは制限の範囲外である可能性があるが、安全機構を回避しようとする行為は明確な目的があっても、そのプラットフォームの虐待禁止令に違反する可能性がある。会社は具体的な執行条項に関する裁量権を保持し、規則は主に極端な行動を対象としていると述べた。