Grokking (apprentissage automatique)
En apprentissage automatique, le grokking (ou généralisation différée) est un phénomène au cours duquel après une première phase de surapprentissage massif où le modèle mémorise simplement son ensemble de données d'entrainement, ce dernier trouve soudainement, après un grand nombre d'itérations, une solution qui se généralise à des tâches similaires. Ceci diffère radicalement du comportement habituellement attendu où le modèle commence par apprendre les motifs généraux avant de finir par mémoriser par cœur les réponses attendues.
Lire sur Wikipédia · Image Neel Nanda, CC BY-SA 4.0
Ouvre des boosters, collectionne des cartes et échange-les. Gratuit.
Jouer gratuitement