Le patron de Palantir UK affirme que c’est aux armées de décider comment le ciblage par l’IA est utilisé en temps de guerre

Il y a 4 jours

PartagerEnregistrer

Ajouter en favori sur Google

Marc Cieslak, correspondant IAet

Matt Murphy, BBC Verify

Selon Louis Mosley, de Palantir, les armées sont responsables de la manière dont les systèmes d’IA sont utilisés

Le géant de la tech Palantir a repoussé les inquiétudes selon lesquelles l’usage militaire de ses plateformes d’IA pourrait entraîner des risques imprévus, dans un entretien exclusif avec la BBC, affirmant que la façon dont la technologie est utilisée relève de la responsabilité de ses clients militaires.

Cela intervient alors que des experts se sont dits préoccupés par l’utilisation, en période de guerre, de la plateforme de défense de Palantir, alimentée par l’IA - Maven Smart System - et par son utilisation rapportée dans des attaques américaines contre l’Iran.

Des analystes ont averti que l’utilisation par l’armée de la plateforme, qui aide le personnel à planifier des attaques, laisse peu de temps pour une « vérification significative » de ses résultats et pourrait conduire à toucher des cibles incorrectes.

Mais le responsable de Palantir pour le Royaume-Uni et l’Europe, Louis Mosley, a déclaré à la BBC, dans un entretien approfondi, que même si des plateformes d’IA comme Maven ont été « instrumentales » dans la gestion de la guerre contre l’Iran par les États-Unis, la responsabilité de la manière dont leurs résultats sont utilisés doit toujours rester « au sein de l’organisation militaire ».

« Il y a toujours un humain dans la boucle, donc il y a toujours un humain qui prend la décision finale. C’est la configuration actuelle. »

Le Maven Smart System a été lancé par le Pentagone en 2017 et est conçu pour accélérer les décisions de ciblage militaire en rassemblant de grandes masses de données, notamment un éventail de renseignements, des images de satellites et de drones.

Le système analyse ces données et peut ensuite fournir des recommandations pour le ciblage. Il peut aussi suggérer le niveau de force à utiliser selon la disponibilité du personnel et du matériel militaire, comme des avions.

Mais l’examen de l’usage de ce type d’outils en guerre s’est intensifié. En février, le Pentagone a annoncé qu’il mettrait fin progressivement au système d’IA Claude de l’entreprise Anthropic - qui contribue à alimenter Maven - après que la société a refusé d’autoriser l’usage de son IA dans des armes et de la surveillance autonomes. Palantir affirme que des alternatives peuvent s’y substituer.

Depuis le début de la guerre avec l’Iran en février, les États-Unis auraient utilisé Maven pour planifier des frappes dans tout le pays.

Film de démonstration du Maven Smart System de Palantir

Poussé par la BBC sur le risque que Maven suggère des cibles incorrectes - pouvant inclure des civils - Mosley a insisté sur le fait que la plateforme est uniquement destinée à servir de guide pour accélérer le processus de décision du personnel militaire et qu’elle ne doit pas être considérée comme un système de ciblage automatisé.

« Vous pouvez y voir un outil d’assistance », a déclaré Mosley. « Il leur permet de synthétiser d’immenses quantités d’informations qu’ils auraient auparavant dû traiter manuellement, une par une. »

Cependant, lorsque la BBC l’a interrogé sur le risque que des commandants sous pression temporelle ordonnent à leurs officiers de prendre les résultats de Maven comme validés, Mosley a renvoyé la responsabilité aux armées individuelles.

« C’est vraiment une question pour nos clients militaires. Ce sont eux qui décident du cadre de politique qui détermine qui a le droit de prendre quelle décision », a-t-il dit. « Ce n’est pas notre rôle. »

Depuis le 28 février, les États-Unis ont lancé plus de 11 000 frappes contre l’Iran, dont beaucoup auraient été identifiées par Maven.

L’amiral Brad Cooper, chef de l’armée américaine au Moyen-Orient, a salué les systèmes d’IA pour aider les officiers à « trier en quelques secondes d’immenses quantités de données, afin que nos dirigeants puissent se frayer un chemin à travers le bruit et prendre des décisions plus intelligentes plus vite que l’ennemi ne puisse réagir ».

La société d’IA Anthropic cherche un expert en armements pour empêcher les utilisateurs de « faire un mauvais usage »

OpenAI modifie un accord avec l’armée américaine après une levée de critiques

Trump ordonne au gouvernement d’arrêter d’utiliser Anthropic dans le combat au sujet de l’usage de l’IA

Mais certains s’inquiètent du fait que l’implication de l’IA dans la planification de mission crée des risques importants.

« Cette priorisation de la vitesse et de l’ampleur et l’usage de la force, puis, laissent très peu de temps pour une vérification significative des cibles, afin de s’assurer qu’elles ne comprennent pas accidentellement des cibles civiles », a déclaré la professeure Elke Schwarz de la Queen Mary University of London.

« S’il existe un risque de tuer et que vous détournez une grande partie de votre réflexion critique vers un logiciel qui s’occupera de ces choses pour vous, alors vous devenez simplement dépendant du logiciel », a-t-elle ajouté. « C’est une course vers le bas. »

Ces dernières semaines, des responsables du Pentagone ont été interrogés sur la question de savoir si des outils d’IA comme Maven ont été utilisés pour identifier des cibles lors de la frappe meurtrière sur une école, dans la ville iranienne de Minab. Des responsables iraniens ont déclaré que la frappe a tué 168 personnes, dont environ 110 enfants, le premier jour de la guerre.

Au Congrès, plusieurs hauts démocrates ont appelé à un examen plus strict des plateformes d’IA comme Maven. La députée Sara Jacobs - membre de la commission des services armés de la Chambre - a demandé l’instauration de règles et de réglementations clairement appliquées sur la manière et le moment où les systèmes d’IA sont utilisés.

« Les outils d’IA ne sont pas fiables à 100 % — ils peuvent échouer de façon subtile et pourtant les opérateurs continuent à leur faire trop confiance », a-t-elle déclaré à NBC News le mois dernier.

« Nous avons la responsabilité d’imposer des garde-fous stricts à l’usage de l’IA par l’armée et de garantir qu’un humain est dans la boucle pour chaque décision d’utiliser une force létale, parce que le coût de l’erreur pourrait être dévastateur pour les civils et pour les membres des services qui mènent ces missions. »

Mais Mosley a rejeté les suggestions selon lesquelles la vitesse de la plateforme de sa société précipiterait la prise de décision au Pentagone et créerait potentiellement des situations dangereuses. Il a plutôt fait valoir que la rapidité avec laquelle les commandants passent à l’action est une « conséquence de l’efficacité accrue » que Maven a rendue possible.

En invoquant « la sécurité opérationnelle », le Pentagone a refusé de commenter, lorsqu’il a été contacté par la BBC, la manière dont des systèmes d’IA comme Maven seront utilisés à l’avenir, ou qui serait tenu responsable en cas de problème.

Mais des responsables aux États-Unis semblent avancer avec des plans visant à intégrer davantage Maven à ses systèmes.

La semaine dernière, l’agence de presse Reuters a rapporté que le Pentagone avait désigné Maven comme « un programme officiel de référence » - l’établissant comme une technologie à intégrer sur le long terme dans l’ensemble de l’armée américaine.

Dans une lettre obtenue par Reuters, le secrétaire adjoint à la Défense Steve Feinberg a déclaré que la plateforme fournirait aux commandants « les outils les plus récents nécessaires pour détecter, dissuader et dominer nos adversaires dans tous les domaines ».

Compte rendu complémentaire de Jemimah Herd

Intelligence artificielle

Guerre en Iran