Modèle de fondation

Carte Peu commune · n° 128263

Un modèle de fondation ou modèle fondateur est un modèle d'intelligence artificielle (IA) de grande taille, entraîné sur une grande quantité de données non étiquetées (généralement par apprentissage auto-supervisé). Le modèle résultant peut être adapté à un large éventail de tâches en aval (downstream tasks en anglais). Depuis leur introduction en 2018, les modèles de fondation ont induit une transformation majeure dans la manière de construire les systèmes d'IA. Les premiers modèles de fondation étaient de grands modèles de langage basés sur l'architecture des transformeurs, notamment BERT qui était basé sur la partie « encodeur » et la famille des GPT initialement basée sur la partie « décodeur ». Par la suite, des modèles de fondation multimodaux, tels DALL-E, Flamingo, et Florence, qui intègrent image et texte, ont fait leur apparition. Plus récemment, les modèles de fondation peuvent utiliser les LNN (liquid neural networks) à la place des transformeurs. Ce terme a été popularisé par...

Lire sur Wikipédia