Aperçu du projet Agent autonome entraîné par neuroévolution
Data / IATerminé

Agent autonome entraîné par neuroévolution

Conception des récompenses et des punitions qui guident l'évolution d'un robot virtuel, piloté par un réseau de neurones, pour atteindre une cible sans collision.

Statut

Terminé

Période

janvier 2025 → mars 2025

Contexte

École

Domaine

Data / IA

Technologies

JavaRéseau de neuronesAlgorithme génétiqueNeuroévolutionFonctions de récompense

01Le projet

Ce projet, réalisé pendant mon BUT, consistait à entraîner un robot virtuel à se déplacer seul dans un environnement en 2D. L'objectif était qu'il atteigne une cible le plus vite possible, sans jamais percuter d'obstacle.

Nous avons travaillé sur EvoAgentStudent, une plateforme de simulation développée par François Suro, chercheur au LIRMM. Mon travail ne portait pas sur le code de la plateforme, mais sur ce qui guide l'apprentissage de l'agent, c'est-à-dire ses récompenses et ses punitions.

02Le cerveau de l'agent

Le robot est piloté par un petit réseau de neurones. En entrée, il reçoit les valeurs de ses capteurs, comme la direction de la cible ou la distance des obstacles. En sortie, il commande ses moteurs. Entre les deux, des couches de neurones transforment ce que le robot perçoit en décisions.

Personne ne programme son comportement. Tout dépend des poids du réseau, c'est-à-dire de l'importance donnée à chaque connexion entre les neurones. Le défi consiste à trouver les bons.

03Apprendre par l'évolution

Pour trouver ces poids, la plateforme utilise la neuroévolution, inspirée de la sélection naturelle.

  • Une population d'agents est créée, chacun avec des poids tirés au hasard.
  • Chaque agent est testé dans la simulation, et reçoit un score selon ses actions.
  • Les meilleurs agents sont sélectionnés et "se reproduisent", en mélangeant et en modifiant légèrement leurs poids.
  • La nouvelle génération est testée à son tour, et ainsi de suite.

Au fil des générations, des comportements de plus en plus efficaces apparaissent, sans que personne ne les ait jamais écrits. Pour aller plus vite, les agents d'une même génération sont testés en parallèle, sur plusieurs cœurs du processeur.

La courbe ci-dessous montre ce qui se passe pendant un entraînement, sur l'environnement où l'agent doit atteindre la cible. À chaque génération, le meilleur score progresse, jusqu'à tripler en seulement 26 générations. Les paliers correspondent aux générations où aucun agent n'a fait mieux que le précédent champion, avant qu'une nouvelle amélioration n'apparaisse.

04Trois défis de difficulté croissante

L'entraînement se faisait sur trois environnements.

  • Atteindre la cible, dans un espace dégagé
  • Éviter les obstacles, en se déplaçant sans rien percuter
  • Combiner les deux, en atteignant la cible au milieu des obstacles

05Mon rôle, récompenses et punitions

Le score de chaque agent dépend entièrement des fonctions de récompense, et c'était le cœur de mon travail. J'ai conçu les récompenses qui encouragent le robot à se rapprocher de la cible et à l'atteindre rapidement, et les punitions qui le pénalisent quand il percute un obstacle.

J'observais ensuite les comportements obtenus au fil des générations, pour ajuster ces règles et corriger les comportements indésirables.

06Ce que j'en retiens

Ce projet m'a appris qu'en intelligence artificielle, un agent apprend exactement ce qu'on récompense, et pas forcément ce qu'on avait en tête. Une récompense mal pensée peut produire un comportement surprenant, qui maximise le score sans réellement résoudre le problème. Concevoir les bonnes récompenses demande donc d'anticiper la façon dont l'agent pourrait les exploiter.

J'ai aussi découvert une autre façon d'apprendre, la neuroévolution, où l'on ne programme pas le comportement mais où on le laisse émerger, génération après génération. Observer et analyser ces comportements m'a appris à raisonner sur un système que je ne contrôle pas directement, et à ajuster mes règles à partir de ce que j'observais.

C'est surtout le projet qui m'a fait découvrir les réseaux de neurones. Voir un robot apprendre seul à atteindre sa cible a été un vrai déclic, et c'est en grande partie lui qui m'a donné envie de me spécialiser en intelligence artificielle.

07Technique

Java, avec le moteur physique JBox2D pour la simulation, un réseau de neurones multicouche pour le cerveau de l'agent, et un algorithme génétique pour son apprentissage.