Nouvelle directrice générale de l’activité de recherche fondamentale de Meta dans l’IA, Joëlle Pineau raconte son ascension au sein des laboratoires de Facebook et décrypte les dernières avancées des modèles de deep learning.
Joëlle Pineau. Le laboratoire FAIR de Meta a pour mission de pousser toujours plus loin l'état de l'art en intelligence artificielle. En disposant d'un laboratoire de recherche fondamentale, Meta se met en condition d'affronter les défis de demain en matière d'IA. Face aux avancées fulgurantes de ce champ technologique sur la dernière décennie, FAIR s'appuie sur un modèle de recherche ouvert et transparent, y compris en termes de modèles et de codes sources. L'objectif est de dynamiser les feedbacks et les échanges d'idées sur nos travaux avec nos différents partenaires académiques et industriels en vue de faire avancer nos projets rapidement.
Pytorch dont nous avons confié le développement à une fondation (la PyTorch Foundation, ndlr), et qui a en partie redessiné la manière de développer l'IA, est l'une de nos principales réussites.
J'ai été embauchée au départ pour mettre en place le laboratoire de FAIR à Montréal. Ce qui a pris environ deux ans. Dans la foulée, j'ai été nommée codirigeante de FAIR aux côtés d'Antoine Bordes qui est basé à Paris. Mon rôle était de porter notre mission à la fois vis-à-vis de nos équipes de chercheurs, de l'entreprise et de la communauté scientifique, le défi étant de rendre la stratégie claire et la vision alignée pour atteindre nos objectifs. Je devais m'assurer que les équipes aient les ressources nécessaires pour mener à bien leurs projets en termes de budget, de capacités de calcul… Mais également de définir et d'appliquer une stratégie data pour que l'utilisation que nous avons des données dans le cadre de notre démarche de science ouverte soit en ligne avec les législations. Enfin, mon objectif était d'amener dans nos équipes les meilleurs chercheurs dans les domaines de pointe de l'IA.
"Nous nous sommes étendus notamment à l'apprentissage par renforcement, à la robotique ou encore à l'IA responsable"
En cinq ans, nous avons beaucoup évolué. Historiquement, FAIR était avant tout centré sur le deep learning. A l'époque, nous comptions seulement une cinquantaine de chercheurs. C'est donc sur ce domaine qu'il fallait se positionner. Avec les années, notre effectif a grossi. Ce qui nous permet aujourd'hui de couvrir un éventail de domaines beaucoup plus large. Nous nous sommes étendus notamment à l'apprentissage par renforcement, à la robotique ou encore à l'IA responsable.
J'ai continué à mener des recherches dans les systèmes de dialogue interactif et le traitement de la parole à travers les modèles de langage et du reinforcement learning. Il s'agit là du cœur théorique de mes domaines de recherche historiques. Je travaille aussi beaucoup sur l'IA dans la santé. C'est une démarche que j'ai amorcée bien avant d'entrer chez Meta, quand j'étais professeur à l'université McGill de Montréal, et qui se poursuit aujourd'hui. J'accompagne encore deux post-doctorants sur ce sujet.
Toute une équipe de chercheurs de FAIR a porté le volet scientifique du projet. Nous avons décidé de déployer BlenderBot sur Internet aux Etats-Unis. J'ai beaucoup planché sur cette dernière étape. L'objectif principal était de s'assurer que le bot ait un comportement raisonnable. Une stratégie a été définie pour évaluer la performance de la qualité des dialogues et de la sécurité en vue d'aboutir à une IA de confiance.
In fine, ce déploiement visait à donner accès à cette technologie, que ce soit à des communautés de chercheurs comme au grand public. C'est une manière de vulgariser nos travaux, mais aussi de comprendre les comportements d'utilisateurs. Cette expérience nous permet de recueillir des données d'usage que nous n'avons évidemment pas en laboratoire et qui nous permettent d'améliorer nos recherches.
La communauté se pose la question de la pertinence de ces modèles depuis dix ans. On se dit tous que leur taille doit diminuer. Il y a trois ingrédients pour que ces IA réussissent. Le volume de paramètres est l'un d'entre eux. Le deuxième renvoie au nombre de GPU disponible pour les entrainer. On est passé de quelques dizaines à quelques centaines, et maintenant à quelques milliers de GPU qui tournent pendant plusieurs mois. Troisième élément, il est nécessaire d'ingérer des données en quantité suffisante. Si on a pas un bon équilibre entre le volume de data, la capacité de calcul et la taille du modèle, la sauce ne prend pas.
"Nous disposons d'une mémoire suffisante pour absorber des tailles encore plus grandes de modèle"
On ignore encore lequel de ces paramètres sera le premier à atteindre sa limite. Nous disposons d'une mémoire suffisante pour absorber des tailles encore plus grandes de modèle. Du côté des données d'entrainement en revanche, les marges de manœuvre se resserrent. Ce qui s'explique par le renforcement des règles de copyright et de respect de la vie privée, ainsi que par la difficulté de disposer de quantités massives d'informations représentatives d'une population.
Le futur pourrait passer par l'émergence des transformers multimodes capables de se nourrir de données hétérogènes : images, vidéos, langage, sons, données médicales… L'autre grand champ de recherche porte sur les modèles génératifs. Dans ce domaine, nous venons d'annoncer la technologie Make-A-Video qui produit de courtes vidéos à partir de textes décrivant une scène en mouvement, dans la même logique que Dall-E sur le front de l'image fixe.
Les IA génératives seront bientôt capables de produire différents formats de données, par exemple une réalité virtuelle en 3D avec des avatars intelligents, des expériences sensorielles sonores, de toucher et d'odorat, notamment dans le cadre du métaverse…
Joëlle Pineau a été nommée le 20 octobre 2022 au poste de directrice générale de FAIR, l'activité de recherche fondamentale de Meta dans l'intelligence artificielle. Elle codirigeait auparavant FAIR avec Antoine Bordes, qui se concentrera désormais sur la direction de FAIR EMEA Labs. Joëlle Pineau est professeure agrégée à l'Ecole d'informatique de l'Université McGill.
JDN. Pourquoi Meta s'est-il doté d'un laboratoire de recherche fondamentale en intelligence artificielle ? Joëlle Pineau est directrice générale de FAIR, l'activité de recherche fondamentale de Meta dans l'intelligence…
Je gère mes abonnements push
Les informations recueillies sont destinées à CCM Benchmark Group pour vous assurer l’envoi de votre newsletter.
Elles seront également utilisées sous réserve des options souscrites, par CCM Benchmark Group à des fins de ciblage publicitaire et prospection commerciale au sein du Groupe Le Figaro, ainsi qu’avec nos partenaires commerciaux.
Le traitement de votre email à des fins de publicité et de contenus personnalisés est réalisé lors de votre inscription sur ce formulaire. Toutefois, vous pouvez vous y opposer à tout moment
Plus généralement, vous bénéficiez d’un droit d’accès et de rectification de vos données personnelles, ainsi que celui d’en demander l’effacement dans les limites prévues par la loi.
Vous pouvez également à tout moment revoir vos options en matière de prospection commerciale et ciblage. En savoir plus sur notre politique de confidentialité ou notre politique Cookies.