Token (intelligence artificielle)

Carte Rare · n° 52473

Un token (ou jeton) est, dans le domaine de l'intelligence artificielle et du traitement automatique du langage naturel (TALN), la plus petite unité textuelle et conceptuelle indivisible isolée par un « algorithme de segmentation » (ou tokenizer) afin de transformer un texte brut (ou une image, ou un enregistrement ou une création sonore, ou d'autres éléments complexes) en données numériques simples, exploitables par un modèle de calcul. Dans l'architecture des grands modèles de langage (LLM) de l'IA, un jeton ne correspond pas toujours à un mot unique ou entier : il peut s'agir d'un mot entier, d'un caractère isolé ou d'un fragment de mot (sous-mot) ou d'un signe de ponctuation. Chaque jeton est associé à un identifiant numérique unique au sein d'un « dictionnaire » prédéfini ; il permet aux réseaux de neurones d'effectuer des opérations mathématiques sur le langage. Le token tend aussi à devenir une unité de mesure.

Lire sur Wikipédia