The Principles of Deep Learning Theory (Roberts, Yaida & Hanin)

J’ai mentionné la semaine passée, parmi mes questions d’intérêt, celle du succès de l’apprentissage profond. J’ai eu l’occasion de faire un premier tour d’horizon d’un ouvrage qui apporte énormément d’éléments à cette réflexion : The Principles of Deep Learning Theory, de Daniel A. Roberts, Sho Yaida et Boris Hanin.

Jusqu’ici, je m’étais plutôt intéressé à la façon dont s’intègre la connaissance a priori de structures dans les données ou tâches au sein des architectures de réseaux de neurones profonds : pour cela le deep learning “géométrique” fournit une base théorique très satisfaisante. Elle se place toutefois en aval d’une donnée précédente – le succès de l’apprentissage profond, même dans les situations peu structurées. Les Principles apportent une part de cette réponse en analysant ce que font des réseaux de neurones profonds et ce qui se passe durant leur entraînement par descente de gradient.

La question initiale n’est certes pas complètement répondue à ce stade, mais on en sort avec une compréhension bien plus claire sur ce qui distingue les réseaux de neurones profonds d’autres types de modèles, et l’on peut supposer que ce sont ces aspects qui sont à l’origine des succès constatés. Je présente sommairement ci-dessous les idées forces que j’ai retenues, même s’il va me falloir du temps pour assimiler le contenu plus en détail.

L’une des grandes forces de l’ouvrage, c’est de traiter des réseaux de neurones profonds réels – ceux qu’on utilise en pratique et dont le succès constaté contraste avec des objets plus simples (comme les réseaux non profonds, par exemple). Notamment, ces réseaux ont des caractéristiques assez incontournables :

• Ils sont larges – chaque couche est peuplée de nombreux neurones – mais finis ; ils se distinguent de façon cruciale des modèles théoriques plus simples (et très utiles) à couches infinies ;
• Ils sont profonds : là-encore, ils ont des propriétés différentes des réseaux à une ou deux couches et appellentà des outils d’analyse différents ;
• Ils sont entraînés par des procédures de descente de gradient ou des variations sur celles-ci : dans la plupart des situations, ça ne se ramène pas à un apprentissage par inférence bayésienne.

Pour analyser les réseaux de neurones profonds, les Principles adoptent une approche perturbative. Cela nous amène à l’une des autres forces de l’ouvrage : il est à la fois ancré dans la pratique du deep learning et dans une connaissance des méthodes de physique, et des formalismes mathématiques, pour traiter de systèmes à grands nombres d’éléments en articulant propriétés microscopiques et macroscopiques.

Cette approche perturbative repose sur quelques observations fondamentales :

• Les réseaux de neurones profonds réels peuvent être vus comme des perturbations en de réseaux à couches de largeur infinie, avec la profondeur et la largeur du réseau. Cette quantité, nommée aspect ratio contrôle de nombreuses propriétés importantes du réseau. Elle est en pratique faible () mais non nulle comme dans les réseaux de largeur infinie ().
• Il vaut mieux étudier les propriétés statistiques de ces réseaux, soit qu’on en considère une population d’ensemble (notamment pour l’étude de l’initialisation), soit qu’on considère l’apprentissage dans un cadre bayésien, plutôt que d’étudier ce qui arrive à un réseau “typique”. Des questions de stabilité des entraînements, par exemple, sont plutôt analysées à travers les fluctuations de ces distributions qu’au niveau d’un réseau individuel.

Avec ces intuitions en tête – et souvent une bonne dose de calculs à bases de contractions de Wick et autres joyeusetés du genre – les Principles s’attaquent successivement à l’étude des propriétés des réseaux à l’initialisation puis durant l’entraînement selon, schématiquement, une même méthode :

• Les propriétés des réseaux de largeur infinie sont établies ;
• Des relations de récurrence reliant les propriétés statistiques d’une couche à l’autre du réseau de neurones sont établies ;
• La perturbation en est conduite pour l’analyse des réseaux de neurones profonds réels.

Quelques motifs reviennent régulièrement au long de ces analyses :

• Les réseaux de largeur infinie sont des objets simples : les neurones ne corrélent pas entre eux, les activations demeurent gaussiennes à travers l’ensemble des couches du réseau, l’apprentissage peut être réalisé en un seul pas de gradient, il n’y a pas d’apprentissage de représentations (le neural tangent kernel est figé)… Ils sont en fait des modèles linéaires sur des descripteurs aléatoires. Au passage : c’est cette observation qui permet aussi de défaire l’un des paradoxes de l’apprentissage profond. Si les réseaux de neurones profonds même surparamétrés ne surapprennent pas, c’est que la complexité réelle de ces modèles n’est pas liée au nombre de paramètres, mais à l’aspect ratio .
• À largeur finie (mais grande), on observe des phénomènes d’accumulation de plusieurs propriétés statistiques à travers les couches du réseau : fluctuations non-gaussiennes des activations, corrélations inter et intra-couches, apprentissage de représentations…
• Ces phénomènes engendrent des phénomènes du même ordre que l’explosion ou la disparition des gradients – les hyperparamètres pertinents doivent être optimisés à “criticalité” pour éviter cela. Par ce motif, on a une base théorique pertinente pour l’établissement de certains des hyperparamètres (par exemple dans l’initialisation des réseaux ou dans les taux d’apprentissage), notamment dans le cas de passages à l’échelles (augmentation proportionnelle de la largeur et de la profondeur d’un réseau). Pour l’étude de cette criticalité, il faudra distinguer dans les fonctions d’activation plusieurs classes d’universalité (au sein d’une telle classe, les propriétés de réseaux réalisés avec différentes fonctions d’activation sont équivalentes) ;
• L’approximation perturbative ne fait apparaître des propriétés désirables que tant que la profondeur ne devient pas trop importante : au-delà, les fluctuations deviennent trop importantes

En bref, la réponse apportée (en épilogue) à la question initiale est : le deep learning fonctionne car il est une forme d’apprentissage de représentations. Il en est une forme non-minimale : des propriétés communes sont partagées dans une classe plus large (modèles non-linéaires et méthodes à quasi-noyaux). Par rapport à cette classe plus large, les réseaux de neurones profonds sont ceux portant le biais inductif supplémentaire est celui apporté par la profondeur des modèles – permettant des interactions riches entre neurones. L’apport de l’apprentissage profond n’est pas tant dans l’apprentissage – commun avec cette classe large – que dans la profondeur ; l’apport de cette profondeur peut déjà se lire dès l’initialisation, qui joue un rôle critique.