パランティアUKの責任者、「AIの標的化が戦争でどう使われるかは軍が決めるべきだ」と発言

4日前

共有保存

Googleでお気に入りに追加

マーク・チースラック、AI特派員and

マット・マーフィー、BBC検証

パランティアのルイ・モーズリー氏は、軍がAIシステムの使われ方に責任を負うと述べる

テクノロジー大手パランティアは、軍が同社のAIプラットフォームを使用することで思わぬリスクにつながり得るとの懸念に反論し、BBCとの独占インタビューで、技術の使い方が責任を負うのは軍の顧客であると強調した。

これは、専門家が、戦時におけるパランティアのAI搭載防衛プラットフォーム――Maven Smart System――の使用、またそれがイランへの米国の攻撃で使われたとされることに懸念を表明していることを受けている。

アナリストは、要員が攻撃を計画するのに役立つこのプラットフォームの軍の使用は、その出力の「意味のある検証」に充てられる時間がほとんどなく、誤った標的が攻撃される可能性があると警告している。

しかし、同社の英国および欧州責任者ルイ・モーズリーは、広範な内容のインタビューでBBCに対し、MavenのようなAIプラットフォームが米国によるイラン戦争の運用に「重要だった」のは事実だが、それらの出力がどう使われるかについての責任は常に「軍事組織側にあるべきだ」と述べた。

「常に人が介在します。つまり、最終的な決定を下すのは常に人です。これは現在の体制です。」

Maven Smart Systemは2017年にペンタゴンによって立ち上げられ、インテリジェンスの幅広い情報、衛星、ドローンの画像など、大量のデータを集約することで、軍の標的化の意思決定を迅速化することを目的としている。

このシステムはこれらのデータを分析し、その後、標的化のための提案を提示できる。また、航空機のような要員や軍事装備の利用可能性に基づいて、使用する武力のレベルを示唆することもできる。

だが、戦争におけるこの種のツールの使用に関する精査は高まっている。2月、ペンタゴンは、Mavenを支えるAnthropicのClaude AIシステムについて、同社が自社AIの自律型兵器や監視での使用を認めることを拒否したことを受け、段階的に廃止すると発表した。パランティアは、代替が置き換え可能だとしている。

イランとの戦争が2月に始まって以来、米国は報道によれば、全国にわたる攻撃の計画にMavenを使用してきた。

パランティアのMaven Smart Systemのデモ映像

Mavenが誤った標的――市民を含む可能性もある――を提案するリスクについてBBCが提起したことに対し、モーズリーは、同プラットフォームは軍の要員の意思決定プロセスを加速するための「ガイド」としてのみ意図され、自動化された標的化システムとして見なされるべきではないと主張した。

「それを支援ツールだと考えることもできます」とモーズリーは述べた。「以前は彼らが一つずつ手作業でやらなければならなかった膨大な情報を統合できるようにしているのです。」

しかし、BBCが、時間に追われる司令官が自分の部下にMavenの出力を“お墨付き”として受け取らせるリスクについて問いただした際、モーズリーは個々の軍に委ねた。

「それは私たちの軍事顧客のための問いです。政策の枠組みを決めるのは彼らであり、その枠組みが『誰がどんな意思決定を下せるか』を決定します」と同氏は述べた。「それは私たちの役割ではありません。」

2月28日以来、米国はイランに対して11,000回を超える攻撃を実施しており、その多くがMavenによって特定されたと報じられている。

中東の米軍トップであるブラッド・クーパー提督は、AIシステムが「数秒で膨大なデータを将校がふるいにかけられるようにし、その結果、指導者が、敵が反応するよりも速く、ノイズを切り抜けてより賢い判断を下せるようにしている」と称賛した。

AI企業Anthropic、ユーザーによる「誤用」を止める兵器の専門家を求める

OpenAI、反発を受けて米軍との取引を変更

トランプ氏、AI使用をめぐる戦いで政府にAnthropicの使用をやめるよう命令

だが、ミッション計画にAIが関与することには重大なリスクがあるのではないかと心配する声もある。

「スピードと規模を優先し、さらに武力の使用までを伴うと、その後に標的が偶然にも市民の標的を含まないかを、意味のある検証に充てる時間がほとんど残らなくなります」とロンドン大学クイーン・メアリー校のエルケ・シュヴァルツ教授は述べた。

「もし殺害のリスクがあり、そうしたことをソフトウェアが処理してくれるからと、重要な思考の多くをそれに委ねてしまうなら、あなたはただソフトウェアに頼る存在になってしまうのです」と同氏は付け加えた。「それは底辺への競争です。」

ここ数週間、ペンタゴン当局者らは、イランのミナブの町にある学校に対する致命的な攻撃で、MavenのようなAIツールが標的を特定するのに使われたのかという疑問に直面している。イラン当局者は、同攻撃で168人が死亡し、その中には約110人の子どもが含まれていたと述べた。戦争の開戦初日に起きた出来事だ。

連邦議会では複数の上級民主党議員が、MavenのようなAIプラットフォームへの監視（精査）を強化するよう求めている。下院軍事委員会のメンバーであるサラ・ジェイコブズ議員は、AIシステムがどのように、そしていつ使われるかについて、明確に施行されるルールと規制を求めた。

「AIツールは100%信頼できません。微妙な形で失敗することもあり得るのに、運用者はそれを過信し続けているのです」と同氏は先月NBCニュースに語った。

「私たちは、軍のAI使用に厳格なガードレールを適用し、致死的な武力を使うあらゆる意思決定において人が介在することを保証する責任があります。間違えたときの代償は、市民や、そうした任務を遂行する軍務従事者にとって壊滅的になり得るからです。」

しかしモーズリーは、同社プラットフォームのスピードがペンタゴンにおける意思決定を急がせ、危険な状況を生みかねないのだという提案に反論した。同氏は代わりに、司令官が現在とっている行動の速さは、Mavenが可能にした「効率の向上の結果」だと主張した。

「作戦上の秘匿性（operational security）」を理由に、ペンタゴンは、BBCがAIシステムのようなMavenが今後どう使われるのか、また何か問題が起きた場合に誰が責任を負うのかに関して問い合わせた際、コメントを拒否した。

だが、米国では当局がMavenをさらに自国のシステムに統合する計画を進めているように見える。

先週、ロイター通信は、ペンタゴンがMavenを「公式の記録プログラム（an ‘official program of record’）」として指定したと報じた。これは、米軍全体において長期的に統合される技術として位置づけるものだ。

ロイターが入手した書簡の中で、国防次官（deputy Defence Secretary）のスティーブ・フィーンバーグ氏は、このプラットフォームが指揮官に対して「あらゆる領域において、我々の敵対者を検知し、抑止し、そして制圧するために必要な最新のツールを提供する」ものになると述べた。

追加取材：ジェミマ・ハード

人工知能

イラン戦争