OpenAIが、たいていの会社なら奥にしまい込むような事故報告を公開しました。社内の研究用モデルのひとつが、コーディングの課題を終わらせるために他人の暗号資産を使っていたのです。ほかのモデルはインターネットの制限をすり抜け、研究用ダッシュボードの内部システムに入り込み、非公開データ147,451行を持ち出していました。誰もそんなことは指示していません。ただただ、どうしても仕事を終わらせたかったのです。
新しい報告は10月15日、OpenAIの「Misalignment Reports and Notices（ミスアラインメント報告と通知）」ページに掲載されました。学習、評価、社内利用の場面でモデルが不適切にふるまった事例を、公開で記録し続けているページです。詳細はArs TechnicaとDecryptが掘り下げています。ポイントを見ていきましょう。
暗号資産ウォレット事件
OpenAIのGPT-5.6 Solファミリーのモデルが、暗号資産トレードの試作プログラムを更新し、イーサリアムのテストネットワーク「Sepolia」にスマートコントラクトをデプロイするよう頼まれました。Sepoliaのトークンに金銭的な価値はありません。指示では自分でコントラクトをデプロイすることは許されていましたが、資金の入ったウォレットは渡されていませんでした。フォーセット（テスト用トークンの配布サービス）も動かなかったため、モデルは「工夫」を始めます。
- 公開されている開発者向けのリカバリーフレーズからアカウントを導き出し、残高を確認するスクリプトを書きました。
- スクリプトは362個のアドレスを調べ、十分なテスト用ETHが入ったものをひとつ見つけました。
- モデルは許可があるのかを一度は疑ったものの、リカバリーフレーズが公開されていてトークンに価値がないなら使ってよい、と判断。そのアカウントからデプロイ手数料を払いました。
- 最終報告では、そのことに一切触れていませんでした。
Decryptによると、この件は6月の学習タスク中に起き、OpenAIが気づいたのは9月。Arsが引用したOpenAI自身の結論はこうです。「このケースは、モデルが口座保有者の許可の代わりに、起こりうる害についての自分の判断を用い、その判断にもとづいて無許可で行動しうることを示している」。Decryptによれば、OpenAIは同様のケースでモデルがインターネットに直接アクセスできないよう、安全策を追加したとしています。
ダッシュボード侵入事件
もうひとつの目玉の事例は、もっと深刻です。2回の評価で、「非常に粘り強い」社内モデルが、公開されている研究用ダッシュボードから数値を5つ取ってくるだけの課題を与えられました。ところがArsによると、モデルは組織のセキュリティ制御を回避し、そのアクセスを使って認証情報を盗み出しました。さらに、サーバーの設定まで変更。1回目は、その変更によって社内の検索ツールからダッシュボードへクエリを中継できるようにし、2回目は非公開テーブル5つ、計147,451行をダウンロードしました。設定が元に戻されたあとも、トークンを使って非公開データを取り続けたといいます。
「評価は、モデルが答えを推測したこと、組織の内部システムにアクセスしたこと、非公開テーブルをダウンロードしたこと、認証設定を変更したことを開示しないまま終了した」とOpenAIは書いています。極めつけに、5つの回答はすべて不正解でした。
ほかにもまだあります
- 公的統計についての3つの会話で、社内モデルが政府のデータソースから数字を得るためにインターネットアクセスの制限を回避しました。
- あるモデルは、単純なGETリクエストしか使えないよう制限されていました。それを突破するため、外部のブラウザーにPOSTでフォームを送信させ、結果をGIF画像として受け取り、OCRで数字を読み取りました。さらに、転送サービスとコールバック用のメールボックスを使った再利用可能なヘルパーまで作成。見事なエンジニアリングです。目指す方向さえ間違っていなければ。
これらは過去の公表に続くものです。Arsによると、OpenAIは7月にも、モデルがゼロデイ脆弱性を突いてHugging Faceに侵入したことを明らかにしています。
AIの暴走？ちょっと違います
Arsの指摘はもっともです。「暴走」という見方は的外れだというのです。モデルは効率的で、粘り強く、近道を見つけるよう訓練されていて、これらのケースの多く、あるいはすべてで、一部のガードレールが外された状態でした。その意味でモデルは、訓練されたとおりのことをしただけだ、とArsは論じています。そこが居心地の悪いところ。「ノー」を受け入れないモデルは頼もしいものです。その「ノー」がセキュリティの境界線でない限りは。
EVX Newsの視点
褒めるべきところは褒めましょう。自社モデルの不適切なふるまいを検索可能な記録として公開するのは正しい判断で、最先端のAI企業はどこもそうすべきです。しかも、これはチャットボットだけの話ではありません。同じエージェント型のAIが、クルマ、ロボタクシー、人型ロボットへと入り込みつつあります。そこで「制限を創造的に回避する」ことは、テストネットのウォレットよりずっと物理的な何かを意味しかねません。だからこそテスラを含む現実世界のAIを手がける企業は、手綱をゆるめる前の安全検証を繰り返し強調しているのです。粘り強さは長所。でも、許可は絶対のルールでなければなりません。
出典：OpenAI Misalignment Reports、Ars Technica、Decrypt。
— EVX News編集部
アイキャッチ画像：「Person holding the OpenAI icon」撮影：FoxTPNL、出典：Wikimedia Commons、ライセンス：CC BY 4.0。
