Transformeur

Carte Rare · n° 34014

Un transformeur (ou modèle auto-attentif) est une architecture d'apprentissage profond introduite en 2017. Elle est principalement utilisée dans le domaine du traitement automatique des langues en servant de base aux grands modèles de langage, mais peut aussi servir à traiter d'autres modalités comme les images, les vidéos ou le son, parfois simultanément. À l'instar des réseaux de neurones récurrents (RNN pour recurrent neural network en anglais), les transformeurs sont conçus pour gérer des données séquentielles, notamment du texte, pour des tâches telles que la traduction et la génération de texte. Cependant, contrairement aux RNN, les transformeurs ne nécessitent pas un traitement séquentiel des données. Ainsi, pour une phrase en entrée, un transformeur peut analyser simultanément différentes parties du texte, sans devoir commencer par le début. Cette caractéristique permet aux transformeurs d'offrir une parallélisation supérieure à celle des RNN, réduisant ainsi le temps d'entraînement...

Lire sur Wikipédia · Image K.W.G. Yipza, CC BY-SA 4.0