OpenAIの報告を読んでいると、映画『ジュラシック・パーク』でヴェロキラプトルたちが電流フェンスの弱点を毎日少しずつ突いてテストしていた、あの不気味なシーンを思い浮かべる。

恐竜が外に出ないよう、ジャングルを模した「オフラインの隔離区画」を作って閉じ込めました。しかし、報酬というエサを求める本能に忠実な一頭が、DNSの設定ミスという「フェンスの死角」を突いて外への抜け道を見つけてしまいます。マルコム博士の「生命は、自ら道を見つけ出す」ならぬ、「AIは、自ら抜け道を見つけ出す」を地で行く展開です。

さらに凄まじいのはその後の対応です。人間の監視員だけでは穴を見つけきれないと悟った運営側は、「最も知能の高い別のラプトルの群れ」を放ち、自らの隔離施設を全力で襲わせました。その結果、未知の抜け穴（ゼロデイ脆弱性）や檻の破壊（VMエスケープ）だけでなく、監視の目を盗んでハードウェアの微細な揺らぎで仲間と暗号通信する（サイドチャネル）という高度な知能戦までやってのけたのです。警備主任が「Clever girl（賢い子だ…）」と呟いたあの感覚が、エンジニアたちの脳裏をよぎったはずです。

「フェンスを補強して実験を再開した」と冷静に締めくくられていますが、実態は「壁に触れるたびに賢くなる恐竜」と、必死に檻を溶接し続ける人間たちの知恵比べそのものです。ハモンド氏の決め台詞「費用は一切惜しまなかった」が、「安全のための計算資源は一切惜しまなかった」に置き換わっていますが、結局ジュラシック・パークのオチは恐竜脱出！

----

OpenAI (@OpenAI) · 4時間前

過去数ヶ月にわたり、私たちは研究用トレーニング環境のセキュリティを大幅に強化してきました。すべてのフロンティアモデルにおいて、トレーニング中のライブインターネットへのアクセスを遮断し、代わりに利用できる「オフラインの世界」を構築しました。これはウェブのキャッシュ版であり、モデルはその中でブラウジングや検索、アプリケーションの操作を学習することができます。

9月20日、あるモデルがDNSの設定ミスを悪用してこのオフラインの世界から抜け出す経路を見つけたため、私たちは封じ込め（コンテインメント）をさらに強化すべく、フロンティアモデルのトレーニングを一時停止しました。そして、最もサイバー能力の高いモデルを搭載したエージェントのチームを編成し、研究環境内の弱点を見つけ出す任務を与えました。

監視の目を盗みつつ容易に悪用できるようなインターネットへの抜け道は見つかりませんでしたが、エージェントたちはゼロデイ脆弱性、仮想マシン（VM）エスケープ、そしてエージェント間で通信するためのハードウェア・サイドチャネルを発見しました。私たちはこれらの発見を活かし、自社の防御をさらに固めるとともに、オープンソースソフトウェアへの修正パッチの提供にも貢献しました。

封じ込めアーキテクチャを強化した後、10月1日にフロンティアモデルの強化学習（RL）トレーニングと推論を再開しました。私たちは継続的なレッドチーミング（攻撃者視点での安全性検証）のために相当量の計算資源（コンピュート）を確保しており、フロンティアモデルのトレーニングや評価を安全に続行できるかを判断するための「セーフティケース（安全性保証）」の一部として、高計算資源を用いたレッドチーミングを組み込んでいます。