Apprentissage par renforcement à partir de rétroaction humaine

Carte Commune · n° 269677

En apprentissage automatique, l'apprentissage par renforcement à partir de rétroaction humaine (RLHF pour Reinforcement Learning from Human Feedback en anglais) est une technique permettant d'aligner un agent intelligent avec les préférences humaines. Dans l'apprentissage par renforcement classique, le but est d'entraîner un agent à agir de manière à maximiser le score que retourne une fonction. Il est cependant difficile de définir explicitement une fonction qui approxime les préférences humaines. RLHF fonctionne de manière indirecte, en entraînant un modèle intermédiaire appelé « modèle de préférences ». Ce modèle de préférences est entraîné par apprentissage supervisé à partir de la façon dont les humains évaluent du contenu généré, jusqu'à pouvoir lui-même évaluer quels contenus un humain apprécierait. D'autres modèles peuvent ensuite être entraînés par apprentissage par renforcement à satisfaire ce modèle de préférences. RLHF peut être appliqué à divers types de modèles d'IA, notamment...

Lire sur Wikipédia