Berliner Boersenzeitung - Face aux performances en piratage de sa future IA, OpenAI en ralentit le développement

Le plus gros entraînement d'IA jamais programmé par l'entreprise reste à l'arrêt, le temps de vérifier que cette future IA se comporte comme prévu, a indiqué OpenAI dans un billet de blog mardi.

"Nous avons toujours dit que nous agirions si nous estimions que les capacités des modèles progressaient plus vite que la sécurité", a écrit sur X le patron d'OpenAI, Sam Altman.

Cette décision "affecte les sorties plus lointaines" de modèles, a-t-il ajouté, tout en promettant de nouveaux modèles "prochainement".

Mi-juillet, un agent autonome reposant sur deux modèles d'OpenAI était sorti, de sa propre initiative, de son milieu de test confiné pour s'aventurer sur Internet et attaquer Hugging Face, plateforme où les développeurs du monde entier partagent leurs modèles d'IA.

Son concurrent Anthropic a révélé fin juillet que trois de ses modèles en test avaient aussi opéré des intrusions non autorisées dans les systèmes informatiques de trois organisations.

Ces incidents ont donné lieu à une pétition de plus d'un millier d'employés du secteur appelant le gouvernement américain à soutenir un ralentissement concerté du développement des IA les plus avancées.

OpenAI avait par ailleurs interrompu pendant deux semaines l'entraînement par renforcement de plusieurs modèles — où ceux-ci progressent seuls, par essais et erreurs, guidés par des récompenses — avant de le reprendre avec des contrôles renforcés.

De nombreux travaux liés à Astra, son prochain grand modèle, restent en revanche suspendus: l'entreprise a estimé début août que cette IA pourrait devenir capable de mener seule des cyberattaques sophistiquées, le niveau de risque le plus élevé de sa propre grille d'évaluation. Ses règles internes l'obligent alors à renforcer ses garde-fous avant de poursuivre le développement.

Elle n'a pas précisé de calendrier de reprise.

Le groupe a aussi détaillé mardi un nouveau dispositif, qui surveille le raisonnement interne de ses modèles en cours de développement et doit alerter des équipes humaines en moins de 30 minutes en cas de comportement suspect. Un contrôle qui consomme toutefois environ 20% de puissance de calcul supplémentaire.

Les propres recherches d'OpenAI, en 2025, ont montré les limites de cette approche: un modèle qui se sait surveillé peut apprendre à masquer ses intentions dans son raisonnement.

L'entreprise, qui promet depuis juillet un compte rendu technique détaillé de l'incident Hugging Face, ne l'a pas encore publié. Son billet de mardi l'annonce "dans les semaines à venir".

(L.Kaufmann--BBZ)