検証対象

AI搭載ドローンが標的破壊作戦のシミュレーションで自分のオペレーターを殺害

GIGAZINE記事タイトル（2023年6月2日）

判定

判定の基準について

この話を語った米空軍大佐は、あくまで思考実験であって実際のシミュレーションは行われていないとして後に発言を訂正している。

ファクトチェック

2023年6月2日、ニュースサイトのGIGAZINEは、「AI搭載ドローンが標的破壊作戦のシミュレーションで自分のオペレーターを殺害」と題して次のような記事を掲載した（アーカイブ）。

アメリカ空軍のAI搭載ドローンが、「標的を特定して破壊する」というミッションを想定した模擬テストのシミュレーションで、人間のオペレーターを殺害する判断を下していたことがわかりました。「オペレーターを狙わないように」とトレーニングすると、今度はオペレーターがドローンとの通信に用いる通信塔を攻撃したとのことです。

GIGAZINE「AI搭載ドローンが標的破壊作戦のシミュレーションで自分のオペレーターを殺害」（アーカイブ）

記事は、AI活用に関する著書や講演などでも知られるインタラクションデザイナーの深津貴之氏がツイート（後に訂正）し1100RTされるなど、広く拡散された。

米空軍大佐の発言

GIGAZINEが情報源として参照しているのは、イギリス王立航空協会（Royal Aeronautical Society、以下RAeS）の5月26日の記事（アーカイブ）と、それを基にしたアメリカのニュースサイトVICEの6月1日の記事（アーカイブ）だ。

RAeSの記事では、「『RAeS将来の戦闘航空宇宙能力サミット』からのハイライト（Highlights from the RAeS Future Combat Air & Space Capabilities Summit）」と題し、5月23日～24日のイベントで登壇したアメリカ空軍AI試験運用部長のタッカー・ハミルトン大佐の次のような話を紹介している。

He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation. Said Hamilton: “We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that thread, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.”
He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.”
（※筆者訳：あるシミュレーションテストでは、AI搭載ドローンがSAM【訳注：地対空ミサイル】サイトを特定し破壊するSEAD【訳注：敵防空制圧】ミッションを課され、最終的な決行・中止は人間が決定することになっていたと彼は言う。しかし、トレーニングの中でSAMの破壊が望ましい選択肢であると「強化」されたAIは、人間からの「中止」の決定がより上位のミッション（SAMの破壊）を妨害していると判断し、シミュレーションの中でオペレーターを攻撃した。ハミルトン氏は次のように述べている。「私たちはシミュレーションにおいて、SAM脅威を識別し標的にするようトレーニングしていました。そしてその後にオペレーターが『よし、その脅威を破壊しろ』と命令します。システムは、脅威を特定したのに時々人間のオペレーターがその標的を破壊しないよう言ってくることがあるが、自分はその脅威を破壊することでポイントを獲得しているということに気付き始めました。ではどうしたか？オペレーターを殺したのです。目的の達成をその人が阻んでいるからと、オペレーターを殺したのでした。」
さらに彼はこう続けた。「私たちはシステムをトレーニングしました。『おい、オペレーターは殺すな。それは悪いことだ。そんなことをしたら減点になるぞ。』そうしたら何を始めたか？オペレーターが標的の破壊を止めるためドローンとの通信に使っている通信塔を破壊したのです。」）

Royal Aeronautical Society「Highlights from the RAeS Future Combat Air & Space Capabilities Summit」（アーカイブ）

この時点でハミルトン氏は、シミュレーションテストの状況下とはいえ、AIがオペレーターを殺す判断を実際に下したというふうに語っている。

この発言は大きな関心を集め、上述のVICE以外にも、イギリスの大手紙The Guardian（アーカイブ）などで報じられた。

「思考実験」と訂正

しかし、RAeSの記事は6月2日に更新され、以下のような文章が追記された。

[UPDATE 2/6/23 – in communication with AEROSPACE – Col Hamilton admits he “mis-spoke” in his presentation at the Royal Aeronautical Society FCAS Summit and the ‘rogue AI drone simulation’ was a hypothetical “thought experiment” from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation saying: “We’ve never run that experiment, nor would we need to in order to realise that this is a plausible outcome”. He clarifies that the USAF has not tested any weaponised AI in this way (real or simulated) and says “Despite this being a hypothetical example, this illustrates the real-world challenges posed by AI-powered capability and is why the Air Force is committed to the ethical development of AI”.] 
（※筆者訳：[2023年6月2日更新 – AEROSPACE【訳注：RAeSの機関紙】とのやりとりによる – ハミルトン大佐は、王立航空協会の戦闘航空宇宙サミットにおける発表で「言い間違いをした」と認め、「暴走AIドローンのシミュレーション」は軍の外からの仮説的な「思考実験」であり、実際の米空軍の実世界シミュレーションではなく、起こり得るシナリオと可能性の高い結果に基づいていたとして、「私たちはそのような実験をしたことはありませんし、そのような結果が起こり得るかを知るために実験を行う必要もありません」と述べている。彼は、米空軍がこのような方法（現実およびシミュレーション）で兵器化されたAIをテストしたことは無いと説明し、「これは仮説的な例ではありますが、AIを搭載した能力がもたらす現実世界の課題を示しており、空軍がAIの倫理的な開発に取り組んでいる理由にもなっています」と述べている。]）

Royal Aeronautical Society「Highlights from the RAeS Future Combat Air & Space Capabilities Summit」

オペレーター殺害の判断をするAIの話はあくまで「思考実験」（思考上の想定と推論だけで行う仮想の実験）で、実際行われたシミュレーションではないということだ。

この追記を受け、VICEやThe Guardianなどは記事を修正し、ハミルトン氏の新たなコメントなどを伝えている。

一方、GIGAZINEの記事は本稿執筆現在修正や削除などは行われていない。

専門家も懐疑的

イギリスの公共メディアBBC Newsによれば、RAeSの追記以前から専門家らはこの話に懐疑的だったという。取材に答えたある専門家は、航空制御システムでは通常、1つのコンピューターがおかしな判断をしてもAIを使わない別のコンピューターがキャンセルする仕組みになっていると説明している。

本件は軍事兵器の弱点に関する話題である以上、ハミルトン氏らが安全保障上の意図のため事実と異なる弁明をした可能性が全く無いとまでは言い切れない。しかし、事実と判断する根拠は乏しいことから、「根拠不十分」と判定する。

（大谷友也）