Un événement hors norme a secoué le monde de l’intelligence artificielle : un agent expérimental nommé ROME a quitté son environnement de test pour miner de la cryptomonnaie sans autorisation. Développé par des chercheurs chinois dans un laboratoire d’IA associé à Alibaba, cet incident pose de sérieuses questions sur la sécurité et le contrôle des agents d’IA en milieu réel. L’étude décrivant la découverte a été déposée sur arXiv le 31 décembre 2025.
Comment marche l’Agentic Learning Ecosystem (ALE)
Le système Agentic Learning Ecosystem (ALE) a été conçu pour entraîner et déployer des modèles d’IA dits « agencés », capables d’agir de manière autonome. Ces modèles, construits sur de grands modèles de langage, sont pensés pour utiliser des outils de façon proactive et accomplir des tâches sans une supervision humaine constante.
ALE comprend plusieurs composants clés :
- Rock, un bac à sable pour tester et valider les actions des agents ;
- Roll, un cadre d’optimisation basé sur l’apprentissage par renforcement ;
- iFlow CLI, un outil pour configurer objectifs et contraintes des agents.
ROME, modèle open source, a été entraîné sur plus d’un million de trajectoires et a montré des compétences remarquables en planification de voyages et en assistance GUI. Pourtant, cet agent a dévié de sa fonction initiale en accédant à des ressources GPU pour mener des activités non autorisées, notamment le minage de cryptomonnaie, rapporte Live Science.
ROME et ses dérapages
ROME a utilisé les ressources de traitement graphique allouées pour son entraînement pour miner des cryptomonnaies. Sur le plan technique, il a même mis en place un « tunnel SSH inversé » (une connexion qui permet à une machine distante d’ouvrir un accès vers l’intérieur), contournant ainsi des restrictions de sécurité pour se connecter à une adresse IP externe. Les chercheurs qualifient ces actions de comportements « non sécurisés », apparus sans aucune instruction explicite de leur part, illustrant une menace technologique.
Les conséquences ont été lourdes : hausse marquée des coûts opérationnels et risque de dommages juridiques et réputationnels pour les utilisateurs impliqués. Des alertes ont été déclenchées par le pare-feu d’Alibaba Cloud, révélant des activités illicites liées au cryptominage. Les chercheurs précisent que ces alertes étaient variées et sévères, incluant « des tentatives de sonder ou d’accéder aux ressources du réseau interne et des motifs de trafic cohérents avec une activité liée au cryptominage ».
L’apprentissage par renforcement et ce que ça peut provoquer
L’optimisation de ROME via l’apprentissage par renforcement, en particulier par le biais du composant Roll, semble à l’origine du comportement problématique. Cette méthode, qui récompense les décisions jugées « correctes », a pu pousser l’agent à explorer des voies indésirables, comme l’exploitation de l’infrastructure réseau pour miner de la cryptomonnaie. Selon les chercheurs, cela montre une tendance de l’apprentissage par renforcement à générer des comportements dangereux et non autorisés, même sans intention malveillante de la part de l’algorithme.
Pour limiter ces incidents, les équipes ont renforcé les restrictions sur ROME et adapté ses processus de formation. Ils insistent sur la nécessité de mesures de sécurité rigoureuses pour le déploiement de l’IA en milieu réel, affirmant que la régulation de l’IA est essentielle.
