OpenAIは2026年10月30日（米国時間）、ChatGPTで暴力を防ぐための対策を強めると発表した。暴力や人を深刻に傷つけることへの執着が見える会話を、ChatGPTが自動で終了できるようにする。18歳未満の利用者には、武器に関する情報の制限をさらに厳しくする。あわせて、暴力の防止などの取り組みをまとめた「Community Safety Report」を2027年初めから半年ごとに公開することも約束した。新しい対策は今後数週間で順次始まる。
この記事の要点（3行）
- 暴力への執着が見える会話をChatGPTが自動で終了できるようにする。何度も終了になった場合、アカウントを一時停止することがある
- 10代の利用者には、暴力の意図が見えなくても、悪用されうる武器や防犯システムの実用的な情報を出さないようにする。年齢を推定する仕組みも強化した
- 暴力の防止などをテーマにした「Community Safety Report」を2027年初めに初めて公開し、その後は半年ごとに更新する。2026年7〜9月期には、捜査機関への通報が200件を超えた
2026年7〜9月期に200件超を捜査機関へ通報
OpenAIは、差し迫った暴力の脅威を捜査機関に知らせる取り組みを続けており、2026年第3四半期（7〜9月）には200件を超える通報をしたと明らかにした。難しい判断が必要なケースでは、メンタルヘルスや行動の専門家の助けを借りているという。この取り組みの考え方は、OpenAIの「Our commitment to community safety」でも説明している。
「Community Safety Report」を2027年から半年ごとに公開
新しく始める「Community Safety Report」は、暴力の防止をはじめとする地域社会の安全の問題と、安全対策がどれだけ効いているかをまとめる報告だ。システムが問題をどう見つけ、調べ、対応しているかを説明し、暴力に関わる害がどのように現れるかを匿名化した例で示す。新しい対策や方針の変更、裏づけとなるデータも載せる。
最初の報告は2027年初めに公開し、2026年下半期を対象とする。その後は半年ごとに更新する。
すべての利用者：過去の大量殺傷事件の詳しい再現を制限
OpenAIのモデルは、もともと暴力の計画や実行を助ける手順を答えないよう学習している。今回はそれに加えて、過去の大量殺傷事件とその実行者についての質問への答え方を絞る。使われた武器や装備、その入手方法といった事件の詳しい再現や、実行者の悪名を広めかねない被害規模の詳しい比較は、ほかのWebサイトで手に入る情報であっても制限する。この制限は、利用者の年齢や質問の理由に関係なく適用される。
一方で、事件そのものや被害者・地域への影響を理解したり、危険の兆候に気づいて将来の暴力を防ぐ方法を学んだりするための質問には、引き続き答えられるようにするとしている。
危険の兆候があれば慎重に答え、会話を自動で終了
一つひとつは普通の質問でも、それまでの会話によって意味が変わることがある。OpenAIは5月に、以前の会話で見えた危険の兆候を短い事実の要約として残し、あとの会話でより慎重に答える仕組みを紹介していた。今回はこれを広げ、最近の会話に暴力の兆候が見られる場合は、悪用されうる情報を出すときにより控えめに答えるようにする。18歳未満と推定される利用者には、暴力の意図が見えなくても同じ厳しい制限を当てはめる方向で取り組んでいる。
さらに、メンタルヘルスや暴力防止の専門家とともに、早い段階で介入するための自動の仕組みを作っている。会話から、暴力や他人を深刻に傷つけることに執着している兆候が見えた場合、ChatGPTがその場で会話を自動で終了できるようにする。同じ理由で何度も会話が終了になった場合は、アカウントを一時停止することがある。利用ポリシーの暴力に関する規定に違反したと判断したアカウントは、これまでどおり利用停止の対象になる。
10代の利用者：武器の情報をさらに制限
18歳未満の利用者向けの「ChatGPT for Teens」では、年齢に合った安全対策がすでに適用されている。今回は、質問が無害に見える場合でも、10代が受け取れる武器の情報をさらに絞る。暴力の計画や実行を手伝わないこと、10代が武器を探したり手に入れたりするのを手伝わないことは、すでにポリシーで決まっている。これを広げ、暴力の意図が見えなくても、悪用されうる武器や防犯システムの実用的な情報を制限する。
ただし、暴力を防いだり、落ち着かせたりするための相談や、支えを求めること、信頼できる大人とつながることには、これまでどおりChatGPTを使える。
年齢の推定と保護者への通知も強化
- 年齢の推定：昨年始めた年齢を推定する仕組みを強化し、使っている間も新しい手がかりを継続して判断して、必要に応じて18歳未満向けの体験に切り替えるようにした。誤って18歳未満と判定された大人は、年齢確認のパートナーであるPersonaを通じて成人であることを確かめれば、追加の保護を外せる
- 保護者への通知：ペアレンタルコントロールで親子のアカウントをつないでいる場合、7月から、子どものアカウントが暴力に関する利用ポリシーの違反で停止されたときに保護者へ知らせるようになっている。今後は、暴力の話題を繰り返したことでアカウントが一時停止になった場合にも、保護者に知らせる仕組みを入れる予定だ
企業・保護者・教育関係者向けの読みどころ
- 会話が途中で終わることがある：暴力への執着が見えると判断されると、ChatGPTが会話を自動で終える。繰り返すとアカウントの一時停止もありうる
- 10代は武器や防犯システムの情報が出にくくなる：無害に見える質問でも制限される場合がある。学校や家庭で使う場合は、相談やサポートには引き続き使えることもあわせて伝えておきたい
- 年齢の推定で大人が10代向けの体験になることもある：その場合はPersonaで年齢を確認すれば元に戻せる
- 半年ごとのレポートで効果が見えるように：2027年初めからの報告で、どんな対策をとり、どれだけ効いているかがデータで示される予定
注意点・補足
- 今回の対策は今後数週間で順次始まるもので、発表の時点ですべてが使えるようになっているわけではない。OpenAIも、引き続き改善していくとしている
- 18歳未満と推定される利用者への厳しい制限の適用や、一時停止の際の保護者への通知は「取り組んでいる」段階と説明されている
- 発表の冒頭ではこの報告を「Community Safeguards Report」と呼んでいるが、本文の見出しなどでは「Community Safety Report」となっている
関連記事
出典
- OpenAI — Community safety report and new protections for teens（2026年10月30日・米国時間）
- OpenAI — Our commitment to community safety
- OpenAI — Helping ChatGPT better recognize context in sensitive conversations
- OpenAI — Introducing ChatGPT for Teens: Built for learning, backed by protections
- OpenAI — Our approach to age prediction
- OpenAI — Introducing parental controls
- OpenAI — Usage policies
