PTPaul Templier

Paul Templier

*This is an algorithmically generated author record based on publicly available information.

Current Organizations / Institutes

The organizations/institutes from the scholar's latest article

Previous Organizations / Institutes

The organizations / institutes from the scholar's other articles in the past ten years


Paul Templier has a total of 7 co-authors. Here are the top co-authors by number of shared publications:


Latest Publications

  • Open Access

    Restart of the JEDi: Dynamic Quality with Just Enough Diversity

    by Paul Templier, Luca Grillotti, Emmanuel Rachelson, Dennis G. Wilson, Antoine Cully

    In complex control tasks, finding high-performing policies often requires discovering and exploiting specific behavioral strategies. While Quality-Diversity (QD) algorithms can uncover these strategies through extensive behavior space exploration, they sacrifice efficiency by improving suboptimal behaviors. Conversely, Evolution Strategies (ES) achieve impressive performance through focused optimization but frequently become trapped in local optima due to limited behavioral exploration. We present Quality with J ust E nough Di versity (JEDi), a new optimization framework that resolves this fundamental tension. JEDi employs a combination of Gaussian Process modeling and parallel Evolution Strategies to intelligently explore behavioral space while maintaining focused optimization. At its core, JEDi learns a probabilistic mapping between behaviors and performance, using this model to identify and target promising behavioral regions that could unlock better solutions. This targeted exploration is achieved through multiple Evolution Strategy emitters that simultaneously optimize toward selected behaviors while maximizing task performance. To further improve JEDi’s exploration capabilities, we introduce its Dy namic variant DyJEDi with an adaptive restart mechanism that dynamically detects and responds to emitter convergence, independently restarting each Evolution Strategy when it stagnates in both behavior and fitness space. This dynamic approach significantly improves exploration efficiency and robustness to local optima. We demonstrate that DyJEDi outperforms both traditional Evolution Strategies and Quality-Diversity approaches across challenging continuous robotics control tasks, achieving higher final performance. Most notably, DyJEDi solves several hard exploration problems where standard ES methods consistently fail.

  • Leveraging Structure in Evolutionary Neural Policy Search

    by Paul Templier

    Synergies dans la recherche évolutionnaire de politiques connexionnistes: Former un agent pour des tâches complexes comme conduire une voiture, maîtriser un jeu vidéo ou contrôler le plasma dans un réacteur à fusion nucléaire pose un défi important en l'absence d'un guide expert. Dans de tels scénarios, imiter le processus d'évolution du monde naturel, qui a affiné les capacités de résolution de problèmes des cerveaux animaux, offre une approche prometteuse. La Recherche Évolutionnaire de Politiques Connexionnistes (REPC) s'inspire de ce concept. Elle crée une population diversifiée d'agents, ou "politiques", représentés par des réseaux de neurones artificiels, permettant au système d'évoluer en sélectionnant et en mutant sélectivement les individus performants.Cette thèse explore les composants clés de la REPC et leurs interactions, en se concentrant sur les Stratégies Evolutionnaires (ES), une méthode d'optimisation stochastique basée sur une distribution. Nous présentons trois axes de recherche pour tirer parti des synergies entre ES et recherche de politiques dans le développement de nouvelles méthodes d'apprentissage.Le premier problème abordé est lié à l'incertitude dans l'évaluation des solutions, où le score d'une politique peut être affecté par du bruit ou un environnement stochastique. Pour propager l'incertitude depuis le score jusqu'à la mise à jour de la distribution de l'ES, nous proposons une méthode d'estimation de la dispersion par échantillonnage Monte-Carlo (DEMONS) qui identifie la solution ayant le plus grand impact et nécessitant plus d'échantillons pour être évaluée avec précision. Ce nouveau schéma d'évaluation tire parti de la structure de l'étape de mise à jour ES pour mieux identifier les solutions sensibles qui nécessitent plus d'attention.Notre second axe de recherche concerne l'exploitation de la structure des réseaux de neurones artificiels pour améliorer leur représentation en tant que génomes pour l'optimisation. Nous introduisons l'Encodage Géométrique pour la Neuroévolution (GENE) qui encode l'information dans les neurones, réduisant leur dimension pour rendre l'optimisation moins coûteuse tout en façonnant l'espace de recherche pour faire émerger naturellement de meilleures architectures. En utilisant une approche de méta-évolution, nous optimisons ensuite cet encodage pour obtenir une représentation des réseaux qui améliore les performances tout en généralisant sur de nouveaux problèmes.Enfin, nous explorons deux domaines adjacents, l'Apprentissage par Renforcement (RL) et la Qualité-Diversité (QD), qui utilisent des informations supplémentaires provenant des évaluations pour guider la recherche. Les transitions d'états rencontrées par les agents peuvent être utilisées par du RL pour entraîner une politique, l'acteur, qui est ensuite injecté dans la population. Cependant, nous pouvons montrer que la différence entre les objectifs de l'ES et du RL font que les génomes de l'acteur et de la population divergent, ce qui mène à une rupture de l'optimisation de l'ES. Nous introduisons la Régularisation de la Dérive Génétique, qui contraint l'acteur RL à rester génétiquement proche de la distribution ES, améliorant ainsi leurs performancesQD définit des descripteurs de comportement pour chaque solution, qui y sont utilisés pour créer un répertoire de politiques diverses. Nous montrons que ces descripteurs peuvent également être inclus dans le processus ES pour aider à trouver la meilleure solution. Nous introduisons le cadre de la Qualité avec Juste Assez de Diversité (JEDi), qui apprend le lien entre comportement et scores pour se concentrer sur les solutions prometteuses. JEDi utilise les comportements pour introduire plus de diversité dans la recherche, résolvant efficacement les tâches d'exploration difficiles, et pour trouver des étapes intermédiaires qui améliorent la recherche.

  • Open Access

    Evolutionary Reinforcement Learning

    by Antoine Cully, Bryan Lim, Paul Templier, Manon Flageat

  • Open Access

    Quality with Just Enough Diversity in Evolutionary Policy Search

    by Paul Templier, Luca Grillotti, Emmanuel Rachelson, Dennis Wilson, Antoine Cully

    Evolution Strategies (ES) are effective gradient-free optimization methods that can be competitive with gradient-based approaches for policy search. ES only rely on the total episodic scores of solutions in their population, from which they estimate fitness gradients for their update with no access to true gradient information. However this makes them sensitive to deceptive fitness landscapes, and they tend to only explore one way to solve a problem. Quality-Diversity methods such as MAP-Elites introduced additional information with behavior descriptors (BD) to return a population of diverse solutions, which helps exploration but leads to a large part of the evaluation budget not being focused on finding the best performing solution. Here we show that behavior information can also be leveraged to find the best policy by identifying promising search areas which can then be efficiently explored with ES. We introduce the framework of Quality with Just Enough Diversity (JEDi) which learns the relationship between behavior and fitness to focus evaluations on solutions that matter. When trying to reach higher fitness values, JEDi outperforms both QD and ES methods on hard exploration tasks like mazes and on complex control problems with large policies.