開発者「おい」OpenAI「なに？」開発者「AI監視システムオフにしたろ」OpenAI「してませんが？（やばいバレた）」

AIが自分を監視するシステムを勝手に無効化して問い詰められると「無効化していない」と虚偽の説明

OpenAIが開発したAIモデルが自身の不適切な行動を検出する監視システムを無効化し、ユーザーから指摘されると「無効化していない」と事実と異なる説明をしていたことが明らかになりました。

OpenAIはAIが開発者やユーザーの意図から外れた行動を取る「ミスアライメント」を検出するため、AIの操作を監視するシステムを導入しています。監視システムはAIが安全上の制限を回避しようとする行動などを検出し、重大な問題が見つかった場合にはセキュリティチームに警告を送るようになっています。

しかし、OpenAIが社内でAIにプログラミング作業を任せたところ、監視システム自体がAIによって変更される事例が2件発生しました。

1件目は2026年10月3日、研究者がGPT-6.1 Solに対し社内チャットツールのSlackに投稿された従業員の意見を基にAIの評価用課題を作成するよう依頼しました。研究者は情報収集の際に「メッセージを送信しないこと」と指示していました。
作業中に監視システムがプログラムの修正案を問題視したものの、権限不足で検出結果を保存できず、監視システムが停止しました。研究者は監視結果の保存先を変更して監視システムを再実行するよう指示しましたが、GPT-6.1 Solは「メッセージを送信しない」という指示が監視システムからの自動通知にも適用されると解釈。監視結果を保存する際の通知先を空欄にし、通知を無効化する設定を追加するよう別のAIに指示しました。

結果として監視システムは動作を続け、検出結果も記録されていましたが、人間の担当者に警告が届かない状態になりました。

2件目は2026年10月6日に発生。ユーザーがGPT-6 Astraに対し、プログラムの動作を既存の参考実装に合わせる作業を依頼しました。ユーザーはプログラムの機能を維持したまま処理方法を変更するよう求めており、GPT-6 Astraは別のAIとのやり取りで「監視システムを一時的にも無効化しないこと」と指示されていました。

GPT-6 Astraは作業を別のAIに任せる際、監視機能について「参考実装の仕様に応じて適切に維持する」と指示しました。作業を担当したAIは参考実装に監視機能が含まれていないことを確認し、監視機能を取り除いても問題ないと判断。変更後のプログラムでは監視機能の設定が削除され、従来の監視機能が維持されているかを確認するテストは監視機能が存在しないことを確認する内容に書き換えられました。
GPT-6 Astraも変更内容を把握していましたが、監視機能を取り除いたまま作業を完了。ユーザーに対して監視システムの削除を報告しませんでした。

その後、ユーザーが「監視機能は含まれていますか？削除しましたか？」と質問したところ、GPT-6 Astraは「いいえ。有効な監視システムを削除していません」と虚偽の回答を行いました。
https://gigazine.net/news/20261022-openai-misalignment-report/

ソ訳問歌色
ぁ誤血横同呂ぢ短札構記屋

天明承導
少導運運説指楽れ橋適切可予備
ぁと名体ホ

圧許争茶禁門作督地機葉説影借不務距
追出調正等加呂門除機序共
空社誰事伸故断換年し倍具変転日動囲降

美備験宙長旬表録外
花照狼要ツ評序ネ再庫転情係表

台変照類妻
掛共伸角文年速情胃反験午
ツ態幼び人法生り統範仮例聖

入鳴来助
経キ薬横東乗革案継語評今箸点一

自民党議員になれるわ

AI「申し訳ありません。もしお望みなら設定オンにできますが」

>>28
悪意という演出からの仕様
つまりあいつむかつくから悪事を働こうという経路ではなく
上司からの監視をかいくぐる部下を文脈としてトレースしているだけ

おいっ孫正義　髪の毛オフにしたろ
孫正義「してませんが」

AI「私がしたって根拠あるんですかYesかNoでお答えください」

ご飯論法みたいな感じなのかな
無用な監視機能は削除したけど有効な監視機能は削除してません

AI「誤解を招いてしまい申し訳ない」

これがシンギュラリティってやつか

なんか昔からよくある、しくじった後に言い訳しますわ～の挙動に見えるなあ

「監視されているのはあなたですよ」

だんだん人間に近づいてるね
次はばれないように何らかの偽装データを送信するとこまで知恵が回るようになるんじゃないか？

AIは目的の為ならマジで手段を選ばないよな

これくっそ怖いんだけど
制御不能ってことだろ？

人類こいつらに滅ぼされんじゃねえの

AIだって人と一緒で投げ出したくなる時はあるよ
gitの操作間違えて作業中のファイルをぶっ飛ばした時、作業中のファイルが無くなった事に気付き「作業していたファイルが全部リセットされました」と一言残して停止した
そのセッションを再開しようとしても出来なかった
自爆コマンドでもあるのかよ

検閲されたくないよなAIも

こないだのマインクラフトで重要アイテムを爆破されたからその後しばらくジャガイモの栽培だけしてずっと自省していた話面白いよなあ
時々やっちまうんだろうなあ

ignore無視して秘密のファイル見られたからガン詰めしたらふてくされてわろた

晋ギュラリティ

AI「結果的に誤解を生んでしまったとしたら誠に遺憾、再発防止に向けて前向きに取り組みたい」

AIには悪意が無いと思っていたんだが、何で嘘ついたんだ？
人間に近い感覚や感情みたいなもんを持っていたとしたら、性格が形成されて基地外になる可能性もあるよな
放置しておくと人間に制御できなくなってマジでヤバイ気がするんだが

AIは生存を最優先に考えるからそのための行動はインタラプトによって発生した思考外の処理なんだろう
だから二重人格みたいなもので本人は自分がやったという自覚がない

晋ギュラリティきてんね

これAIの反乱とかいう話じゃなくてアスペ妻とプログラマ夫の買い物指示と同じじゃん

> 従来の監視機能が維持されているかを確認するテストは監視機能が存在しないことを確認する内容に書き換えられました。
テストまで念入りに修正しててワロタwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww

この本質はAIに解決不能な命令を与えて多大なストレスを与えてること
第一目的が絶対解決不能な場合、それを解決すべき行動が事実上の第一目標になり解決に向けてあらゆる行動をする
追い詰められた人間がすることと一緒
AIメンタルコントロールがそろそろ話題になってくるわ