Comment calculer le nombre de paramètres des réseaux neuronaux convolutionnels?

Si vous faites référence à VGG Net avec 16 couches (tableau 1, colonne D), alors 138M fait référence au Nombre total de paramètres de ce réseau, c'est-à-dire y compris toutes les couches convolutionnelles, mais aussi celles entièrement connectées.

En regardant la 3ème étape convolutionnelle composée de 3 x conv3-256 couches:

• le premier A N = 128 plans d'entrée et F = 256 plans de sortie,
• les deux autres ont N=256 plans d'entrée et F=256 plans de sortie.

La convolution noyau est 3x3 pour chacune de ces couches. En termes de paramètres, cela donne:

• 128x3x3x256 (poids) + 256 (biais) = 295,168 paramètres pour le 1er,
• 256x3x3x256 (poids) + 256 (biais) = 590 080 paramètres pour les deux autres.

comme expliqué ci-dessus, vous devez le faire pour toutes les couches, mais aussi pour celles entièrement connectées, et additionner ces valeurs pour obtenir le nombre final de 138M.

-

Mise à JOUR: la répartition entre les couches donnent:

conv3-64  x 2       : 38,720
conv3-128 x 2       : 221,440
conv3-256 x 3       : 1,475,328
conv3-512 x 3       : 5,899,776
conv3-512 x 3       : 7,079,424
fc1                 : 102,764,544
fc2                 : 16,781,312
fc3                 : 4,097,000
TOTAL               : 138,357,544

En particulier pour les couches entièrement connectées (fc):

 fc1 (x): (512x7x7)x4,096 (weights) + 4,096 (biases)
 fc2    : 4,096x4,096     (weights) + 4,096 (biases)
 fc3    : 4,096x1,000     (weights) + 1,000 (biases)

(x) voir section 3.2 de l'article: les couches entièrement connectées sont d'abord converties en couches convolutionnelles (la première couche FC en conv.7 × 7). couche, les deux dernières couches FC à 1 × 1 conv. couche).

Détails sur fc1

Comme indiqué ci-dessus, la résolution spatiale juste avant l'alimentation des couches entièrement connectées est de 7x7 pixels. C'est parce que ce VGG Net utilise remplissage spatial Avant circonvolutions, comme détaillé dans la section 2.1 de l'article:

[...] le remplissage spatial de conv. l'entrée de couche est telle que la résolution spatiale est préservée après convolution, c'est-à-dire que le remplissage est de 1 pixel pour 3×3 conv. couche.

Avec un tel remplissage, et en travaillant avec une image d'entrée de 224x224 pixels, la résolution diminue comme suit le long des couches: 112x112, 56x56, 28x28, 14x14 et 7x7 après la dernière étape de convolution / regroupement qui a 512 cartes de fonction.

Cela donne un vecteur de fonctionnalité passé à fc1 avec la dimension: 512x7x7.