Le transfer learning ou apprentissage par transfert consiste à compléter l'apprentissage d'un modèle de machine learning, préalablement entraîné à résoudre une tâche donnée, en vue de lui permettre de résoudre une tâche similaire, généralement plus précise. Par exemple, l'entrainement d'un modèle reconnaissance d'images généraliste pourra être complété pour identifier des formes particulières, typiquement des visages dans le cas d'une IA de reconnaissance faciale.
Les réseaux de neurones profonds, notamment utilisés en reconnaissance d'image ou traitement automatique du langage (NLP), passent par une phase d'apprentissage gourmande en puissance de calcul. Ce qui se traduit par des coûts élevés en ressources machines et surtout des temps d'exécution longs pour aboutir à une IA de qualité. Le transfer learning permet de mutualiser cette phase d'entraînement d'un modèle à l'autre.
Prenons l'exemple de la vision par ordinateur. Sur ce terrain, les réseaux de neurones permettent typiquement à la machine de reconnaitre un objet sur des photos, par exemple un type de produit ou une catégorie de personne (enfant, adulte, femme, homme…). Pour ce faire, ils se déclinent en couches, chacune centrée sur un élément graphique à identifier, du plus général au plus particulier. S'il s'agit de repérer un chien, le réseau s'attachera ainsi à rechercher d'abord la présence d'une tête, puis de deux oreilles, de quatre pattes, de poils… Pour chaque couche, de nombreuses variables graphiques pourront être prises en compte. Des poids seront définis pour chacune, permettant au final par hiérarchies de combinaisons de repérer la forme globale la plus approchante du sujet à trouver.
En fonction de la complexité de l'objet à cerner, le volume d'exemples à ingérer lors de la phase d'entrainement du modèle pourra représenter très vite des millions voire des milliards d'images, et par conséquent faire exploser la puissance et les temps de calcul nécessaires. D'où l'intérêt du transfer learning. Typiquement, un réseau neuronal qui a appris à reconnaître un chien en photo pourra être en majorité repris pour détecter un chat. Un animal qui a également une tête, deux oreilles, quatre pattes, etc. Les couches du réseau correspondantes pourront ainsi être réexploitées. Ne restera plus que les couches supérieures à ajouter. Ce qui, au final, contribue à réduire de manière très significative le temps et la capacité de calcul.
Pour faciliter la réexploitation des algorithmes de deep learning, des places de marché se sont développées. Baptisées les zoos dans le jargon des spécialistes, elles donnent accès à des modèles d'apprentissage mais aussi des data sets qualifiés conçus pour entraîner les IA. C'est le cas par exemple de la plateforme web Algorithmia. Créée en 2013, cette dernière regroupe plus de milliers d'algorithmes. Le MIT comme les universités d'Austin, Berkeley, Tokyo, Toronto et Washington figurent parmi ses contributeurs les plus célèbres (lire l'article : Algorithmia, la plus grande place de marché d'algorithmes indépendante). Autre place de marché positionnée sur ce terrain : Quantiacs.
Il existe différentes catégories de transfer learning :
Le fin tuning est une méthode de transfer learning. Elle consiste à figer une partie des poids des couches du réseau pré-entraîné, ces couches recouvrant des variables génériques : détection de formes, de couleurs… A partir de là, on pourra appliquer l'apprentissage visant à ajouter les couches complémentaires permettant de réaliser la tâche ciblée, le tout sans risquer de déséquilibrer l'édifice.
PyTorch et TensorFlow figurent parmi les framework de deep learning les plus utilisés. Le transfer learning peut être appliqué aux réseaux de neurones développés à partir de ces deux technologies.
Sommaire Le transfer learning, c'est quoi ? Pourquoi le transfer learning ? Comment fonctionne le transfer learning ? Comment faire du transfer learning ? Différents types de transfer learning Le fine tuning en transfer…
Je gère mes abonnements push
Les informations recueillies sont destinées à CCM Benchmark Group pour vous assurer l’envoi de votre newsletter.
Elles seront également utilisées sous réserve des options souscrites, par CCM Benchmark Group à des fins de ciblage publicitaire et prospection commerciale au sein du Groupe Le Figaro, ainsi qu’avec nos partenaires commerciaux.
Le traitement de votre email à des fins de publicité et de contenus personnalisés est réalisé lors de votre inscription sur ce formulaire. Toutefois, vous pouvez vous y opposer à tout moment
Plus généralement, vous bénéficiez d’un droit d’accès et de rectification de vos données personnelles, ainsi que celui d’en demander l’effacement dans les limites prévues par la loi.
Vous pouvez également à tout moment revoir vos options en matière de prospection commerciale et ciblage. En savoir plus sur notre politique de confidentialité ou notre politique Cookies.