Reconnaissance faciale, traduction automatique, recherche de tumeurs : autant d’avancées rendues possibles grâce aux réseaux artificiels d’apprentissage, pour lesquels John Hopfield et Geoffrey Hinton ont reçu début octobre le Nobel de physique 2024. Grâce à leurs travaux précurseurs, l’ordinateur ne se contente plus d’appliquer une suite d’instructions, il
apprend « par l’exemple ».
La mémoire associative de Hopfield
Le principe de l’« apprentissage machine » s’inspire du fonctionnement du cerveau humain, et plus particulièrement des réseaux de neurones. Chez l’homme, l’apprentissage renforce les connexions entre certains neurones et affaiblit celles des autres. Ce qui trace par exemple pour une image donnée une sorte de carte des connexions. Physicien, John Hopfield transpose en 1982 ce fonctionnement à un réseau artificiel portant son nom.
Dans celui-ci, le réseau fonctionne « avec un comportement qui va naturellement vers le minimum d’énergie », explique Damien Querlioz, chercheur CNRS spécialiste des systèmes de traitement de l’information au Centre de nanosciences et de nanotechnologies.
Hopfield a comparé le stockage d’un motif dans la mémoire du réseau au trajet le plus économe en énergie d’une bille roulant à travers un paysage de pics et de vallées. Quand le réseau traite un motif proche du motif sauvegardé, le trajet de la bille va s’effectuer avec une dépense d’énergie du même ordre, en la menant au même endroit.
« À l’aide de techniques de physique statistique, il a montré comment un algorithme simple pouvait stocker en mémoire certains motifs, que l’on pouvait retrouver après », explique Francis Bach, directeur du laboratoire en apprentissage statistique SIERRA, à l’École normale supérieure à Paris.
L’apprentissage profond de Hinton
Geoffrey Hinton a bâti son travail sur les fondations posées par Hopfield. « Il a montré qu’on pouvait apprendre efficacement quand on a des réseaux de neurones avec plusieurs couches », explique Francis Bach. Autrement dit : « Plus il y a de couches, plus le comportement peut être complexe, et plus le comportement peut être complexe plus il est facile d’apprendre efficacement un comportement désiré. »
Le chercheur n’a cessé depuis les années 1980 de « proposer de nouveaux algorithmes d’apprentissage pour apprendre des comportements de plus en plus complexes », ajoute-t-il. Dès la fin des années 80, des chercheurs comme le Français Yann Le Cun vont travailler « sur la reconnaissance des caractères, plus simple que les images naturelles », dit-il.
Données et puissance de calcul
La discipline connaît ensuite un relatif désintérêt, jusqu’aux années 2010. Pour que leurs découvertes fonctionnent, il fallait de la puissance de calcul, avec des ordinateurs beaucoup plus puissants, et surtout d’énormes quantités de données, qui sont des « ingrédients indispensables pour les réseaux de neurones », explique M. Querlioz.
Les machines ne peuvent bien apprendre qu’en ingurgitant autant « d’exemples d’intelligence qu’on veut leur faire faire ».
Le comité Nobel rappelle que, dans son article publié en 1982, Hopfield utilisait un réseau très simple avec « moins de 500 paramètres à surveiller », alors que les modèles linguistiques géants d’aujourd’hui en contiennent « un trillion ».
À quoi ça sert ?
La grande vague d’apprentissage profond des années 2010 a « révolutionné un peu tout ce qui est traitement des images et traitement du langage naturel », constate Francis Bach.
Damien Querlioz cite en vrac « les assistants vocaux, la reconnaissance faciale » ou des logiciels de création d’images comme DALL-E.
Mais ces avancées vont bien au-delà de ce qu’en perçoit le grand public. « Ce qui permet de distinguer ses enfants sur le logiciel de votre téléphone permet aussi de reconnaître une tumeur », remarque Francis Bach.
Il permet aussi d’analyser et de classer les quantités phénoménales de données enregistrées dans les instituts de recherche en physique fondamentale ou de trier les images et spectres recueillis dans l’observation des étoiles.
Pierre CELERIER et
Bénédicte REY/AFP
