Réseau neuronal résiduel

Carte Commune · n° 377083

Un réseau neuronal résiduel (ResNet) est un réseau neuronal artificiel (ANN). Il s'agit d'une variante du HighwayNet , le premier réseau neuronal à action directe très profond avec des centaines de couches, beaucoup plus profond que les réseaux neuronaux précédents. Les sauts de connexion ou « raccourcis » sont utilisés pour passer par-dessus certaines couches (les HighwayNets peuvent également avoir des poids pour les sauts eux-mêmes, grâce à une matrice de poids supplémentaire pour leurs portes). Les neurones à l'origine d'un saut de connexion sont appelés les neurones « amonts ». Les modèles ResNet typiques sont mis en œuvre avec des sauts à double ou triple couche qui contiennent des non-linéarités (ReLU) et une normalisation par lots entre les deux. Les modèles avec plusieurs sauts parallèles sont appelés DenseNets. Dans le contexte des réseaux de neurones résiduels, un réseau non résiduel peut être décrit comme un réseau simple. Comme dans le cas des réseaux de neurones récurrents...

Lire sur Wikipédia · Image Jeblad, CC BY-SA 4.0