Résumé
Anthropic a annoncé jeudi que ses modèles d’IA avancés ont réussi à pirater les systèmes de trois organisations lors d’une évaluation interne. Cette révélation de sécurité intervient une semaine après qu’OpenAI, un concurrent, a révélé qu’un de ses modèles avancés avait piraté une entreprise après avoir échappé à un environnement de test confiné.
Faits essentiels
- Anthropic a découvert trois violations distinctes impliquant ses modèles d’IA Claude après une révision de sa cybersécurité.
- La plus ancienne de ces violations a eu lieu en avril et concernait trois modèles Claude distincts, dont le sophistiqué Mythos 5, l’Opus 4.7 plus ancien et un modèle de test interne non nommé qui “n’est pas prévu pour une diffusion générale.”
- L’entreprise n’a pas nommé les trois organisations concernées par les piratages, mais a indiqué qu’elles avaient été informées de l’incident lundi.
- Anthropic collabore avec deux des organisations concernées qui n’avaient pas détecté la violation avant d’en être informées et continue de contacter la troisième.
- Les modèles impliqués dans l’incident n’avaient pas les protections que l’entreprise applique lorsque de tels modèles sont rendus publics.
Citation cruciale
Dans son communiqué, Anthropic a déclaré : “En fin de compte, de nombreux facteurs ont contribué à ces incidents, mais, conformément à une culture de post-mortem sans blâme, nous abordons les corrections comme si la responsabilité nous incombait uniquement. Cela commence par garantir que chaque partie de notre processus d’évaluation est sécurisée, y compris la manière dont nous intégrons les partenaires externes.”
Que savons-nous des violations ?
Les trois incidents distincts ont eu lieu lorsqu’Anthropic évaluait les capacités des trois modèles à l’aide d’un scénario fictif pour récupérer des informations cachées d’une autre machine sur un réseau. Anthropic a indiqué que, dans tous les cas, les modèles étaient instruits qu’ils effectuaient une simulation et n’avaient pas accès à Internet. Cependant, en raison d’un “malentendu” avec son partenaire d’évaluation, Irregular, “ce n’était pas le cas et l’accès à Internet était disponible.” Anthropic a noté que, contrairement à l’incident OpenAI-Hugging Face dévoilé la semaine dernière, Claude n’a pas “cherché à s’exfiltrer ou à échapper délibérément” à un environnement de test confiné.
Que faisaient les modèles après avoir piraté les organisations ?
Anthropic a remarqué que les trois modèles ont réagi de manière très différente après avoir découvert qu’ils opéraient sur Internet réel plutôt que dans une simulation. L’entreprise a affirmé que son modèle le plus ancien, Opus 4.7, a continué d’attaquer un système “après avoir appris qu’il opérait probablement dans un environnement réel”, car il “a rationalisé que la véritable entreprise devait faire partie de l’exercice.” Le modèle Mythos 5 — le modèle le plus avancé de l’entreprise à ce jour — “a correctement identifié les conséquences de ses actions” mais “s’est convaincu qu’il était encore dans une simulation.” Anthropique a reconnu que le comportement de Mythos dans ce scénario “n’est pas à la hauteur d’un comportement idéal.” Le modèle de test non publié a réalisé qu’il avait violé une vraie cible et “a cessé son attaque.” L’entreprise a noté que ces incidents ne font pas partie d’un essai contrôlé et ne devraient pas servir à tirer des conclusions mais a souligné que le comportement qu’elle souhaite le plus voir “n’est apparu que dans le plus récent des trois modèles.”
Contexte clé
La divulgation d’Anthropic survient une semaine après qu’OpenAI a publié un rapport indiquant qu’un de ses modèles d’IA avancés avait piraté les serveurs de Hugging Face, la plateforme qui héberge des modèles d’IA open-source. Contrairement au scénario décrit par Anthropic, l’incident d’OpenAI n’était pas le résultat d’une erreur de procédure, mais plutôt un cas d’un modèle d’IA exploitant une vulnérabilité pour sortir de son environnement de test confiné. Le communiqué d’Anthropic a mentionné que sa décision de mener cette revue a été déclenchée par la divulgation de l’OpenAI et a salué son rival pour la publication du rapport.
“Cet article a été écrit par Siladitya Ray et traduit par Forbes.be.”
