Henrique Koji Miyamoto

Décodage universel par décodage aléatoire: Cette thèse étudie le décodage universel, c'est-à-dire des règles de décodage qui fonctionnent sans connaissance de la loi du canal, tout en atteignant le même exposant d'erreur que le décodeur optimal par maximum de vraisemblance qui connaît le canal. Je considère en particulier le décodage aléatoire, dans lequel les messages sont sélectionnés aléatoirement, avec des probabilités proportionnelles à la métrique de décodage des mots de code correspondants ; pour des canaux additifs, ce cadre conduit à des schémas de décodage par devinement aléatoire de la suite de bruit. D'abord, j'analyse les exposants d'erreur et de complexité du décodage par devinement de bruit dans les cas déterministe et aléatoire, avec différentes métriques de décodage. Il est démontré que, pour le cas aléatoire, la métrique de décodage optimale dans la famille des décodeurs alpha-tilted nécessite un ajustement du paramètre alpha en fonction du taux du code utilisé. Ceci contraste avec une métrique de décodage universelle qui est uniformément optimale parmi tous les taux. Dans un second temps, je propose différents schémas de décodage universels, basés sur le devinement déterministe et aléatoire de bruit, pour des canaux additifs avec mémoire. Celui basé sur le devinement aléatoire de bruit avec l'estimateur de Krichevsky--Trofimov se prête à une implémentation particulièrement simple. Les schémas sont évalués numériquement, en particulier sur des courtes longueurs de paquet, et surpassent une stratégie basée sur l'estimation du canal. Enfin, j'introduis le décodage aléatoire par liste et j'analyse son exposant d'erreur pour des tailles de liste constantes et exponentielles sur des canaux discrets sans mémoire. Dans le premier cas, il est démontré qu'aucune amélioration ne peut être obtenue avec une taille de liste constante ; dans le second cas, un exposant atteignable, optimal à des taux élevés, est obtenu. Dans les deux cas, les exposants d'erreur peuvent être atteints par un schéma de décodage universel.

Choosing a suitable loss function is essential when learning by empirical risk minimisation. In many practical cases, the datasets used for training a classifier may contain incorrect labels, which prompts the interest for using loss functions that are inherently robust to label noise. In this paper, we study the Fisher-Rao loss function, which emerges from the Fisher-Rao distance in the statistical manifold of discrete distributions. We derive an upper bound for the performance degradation in the presence of label noise, and analyse the learning speed of this loss. Comparing with other commonly used losses, we argue that the Fisher-Rao loss provides a natural trade-off between robustness and training dynamics. Numerical experiments with synthetic and MNIST datasets illustrate this performance.