Algorithme du gradient

Carte Rare · n° 51267

L'algorithme du gradient, ou de descente de gradient, est une méthode d'optimisation mathématique sans contrainte. Il s'agit d'un algorithme itératif du premier ordre permettant de minimiser une fonction multivariée différentiable. L'idée consiste à effectuer des étapes répétées dans la direction opposée au gradient (ou gradient approximatif) de la fonction au point actuel, car il s'agit de la direction de descente la plus raide. À l'inverse, se déplacer dans la direction du gradient conduira à une trajectoire qui maximise cette fonction ; la procédure est alors connue sous le nom d'ascension du gradient. Elle est particulièrement utile dans l'apprentissage automatique pour minimiser le coût ou la fonction de perte. Il permet donc de minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, R n {\displaystyle \mathbb {R} ^{n}} , l'espace...

Lire sur Wikipédia · Image mitopencourseware, CC BY-SA 4.0