Methodology for Design and Analysis of Machine Learning Competitions

Author:
Publisher website
Google Scholar
Abstract
Méthodologie pour la conception et l'analyse de compétitions en apprentissage automatique: Nous développons et étudions une méthodologie systématique et unifiée pour organiser et utiliser les compétitions scientifiques dans la recherche, en particulier dans le domaine de l'apprentissage automatique (intelligence artificielle basée sur les données). De nos jours, les compétitions deviennent de plus en plus populaires en tant qu'outil pédagogique et comme moyen de repousser les limites de l'état de l'art en engageant des scientifiques de tous âges, à l'intérieur ou à l'extérieur du milieu universitaire. On peut y voir une forme de science citoyenne. Cette forme de contribution communautaire à la science pourrait contribuer à la recherche reproductible et démocratiser l'intelligence artificielle. Toutefois, si la distinction entre organisateurs et participants peut atténuer certains biais, il existe un risque que des biais dans la sélection des données, les métriques d'évaluation, et d'autres éléments de conception expérimentale compromettent l'intégrité des résultats et amplifient l'influence du hasard. Dans les cas extrêmes, les résultats pourraient être inutiles, voire préjudiciables à la communauté scientifique et, en conséquence, à la société dans son ensemble. Notre objectif est d'inscrire l'organisation de compétitions scientifiques dans un cadre rigoureux et d'offrir à la communauté des recommandations éclairées. Conjointement avec l'effort de développement des outils d'organisation de compétitions que nous développons dans le cadre du projet CodaLab, nous visons à fournir une contribution utile à la communauté. Cette thèse comprend des contributions théoriques s'appuyant sur la conception expérimentale, les statistiques et la théorie des jeux, ainsi que des résultats empiriques pratiques résultant de l'analyse des données de compétitions passées.

This publication has 144 references indexed in Scilit: