Introducción al fondo

Dentro de una red neuronal convolucional, normalmente tenemos una estructura / flujo general que se ve así:

1. imagen de entrada (es decir, un vector 2D x)

---

(la primera capa convolucional (Conv1) comienza aquí …)

2. convierta un conjunto de filtros (w1) a lo largo de la imagen 2D (es decir, haga el z1 = w1*x + b1 multiplicaciones de productos escalares), donde z1 es 3D y b1 son sesgos.
3. aplicar una función de activación (por ejemplo, ReLu) para hacer que z1 no sea lineal (por ejemplo, a1 = ReLu(z1)), donde a1 es 3D.

---

(La segunda capa convolucional (Conv2) comienza aquí …)

4. convolucionar un conjunto de filtros a lo largo de las activaciones recién calculadas (es decir, hacer las z2 = w2*a1 + b2 multiplicaciones del producto escalar), donde z2 es 3D, y b2 son sesgos.
5. aplique una función de activación (p. Ej. ReLu) para hacer z2 no lineal (p. Ej., a2 = ReLu(z2)), donde a2 es 3D .

---

La pregunta

La definición del término " mapa de características " parece variar de una literatura a otra. Concretamente:

• Para la primera capa convolucional, el " mapa de características " corresponde al vector de entrada x, o el producto escalar de salida z1, o las activaciones de salida a1, o el " proceso " conversión de x a a1, o algo más?
• De manera similar, para la segunda capa convolucional, el " mapa de características " corresponde a las activaciones de entrada a1, o el producto punto de salida z2, o la activación de salida a2 o el " proceso " que convierte a1 en a2, o algo más?

Además, ¿es cierto que el término " feat ure map " es exactamente igual que " mapa de activación "? (¿O en realidad significan dos cosas diferentes?)

Referencias adicionales:

Fragmentos de Redes neuronales y aprendizaje profundo – Capítulo 6 :

* La nomenclatura se utiliza aquí de forma poco estricta. En particular, «estoy usando " mapa de características " para referirme no a la función calculada por la capa convolucional, sino a la activación de la salida de neuronas ocultas de la capa. Este tipo de abuso leve de nomenclatura es bastante común en la literatura de investigación.

---

Fragmentos de Visualización y comprensión de redes convolucionales por Matt Zeiler :

En este artículo presentamos una técnica de visualización que revela los estímulos de entrada que excitan los mapas de características individuales en cualquier capa del modelo. […] Nuestro enfoque, por el contrario, proporciona una vista no paramétrica de la invariancia, que muestra qué patrones del conjunto de entrenamiento activan el mapa de características. [. ..] una operación de contraste local que normaliza las respuestas en los mapas de características. […] Para examinar una activación de convnet dada, establecemos todas las demás activaciones en la capa en cero y pasamos el mapa de características s como entrada a la capa deconvnet adjunta. […] El convnet utiliza no linealidades relu, que rectifican los mapas de características asegurando así que los mapas de características sean siempre positivos. […] El convnet utiliza filtros aprendidos para convertir los mapas de características de la capa anterior. […] Fig. 6, estas visualizaciones son representaciones precisas del patrón de entrada que estimula el mapa de características dado en el modelo […] cuando las partes de la imagen de entrada original correspondientes al patrón están ocluidas, vemos un caída distinta en la actividad dentro del mapa de características. […]

Comentarios: también introduce el término " mapa de características " y " mapa de características rectificado " en la figura 1.

---

Fragmentos de Capítulo de Stanford CS231n en CNN :

[…] Un error peligroso que se puede notar fácilmente con esta visualización es que algunos mapas de activación pueden ser todos cero para muchas entradas diferentes, lo que puede indicar filtros muertos y puede ser un síntoma de altas tasas de aprendizaje […] Activaciones de aspecto típico en la primera capa CONV (izquierda) y la quinta capa CONV (derecha) de un AlexNet entrenado mirando una imagen de un gato. Cada cuadro muestra un mapa de activación correspondiente a algún filtro. Observe que las activaciones son escasas (la mayoría de los valores son cero, en esta visualización se muestra en negro) y en su mayoría locales.

---

Fragmentos de A-Beginner «s-Guide-to-Understanding-Convolutional-Neural-Networks

[…] Cada ubicación única en el volumen de entrada produce un número. Después de deslizar el filtro sobre todas las ubicaciones, descubrirá que lo que le queda es una matriz de números de 28 x 28 x 1, que llamamos un mapa de activación o un mapa de características.