Intro-Hintergrund

Innerhalb eines Faltungsnetzwerks haben wir normalerweise eine allgemeine Struktur / einen allgemeinen Fluss, der wie folgt aussieht:

  1. Eingabebild (dh ein 2D-Vektor x)

(1. Faltungsschicht (Conv1) beginnt hier …)

  1. falten eine Reihe von Filtern (w1) entlang des 2D-Bildes (dh führen Sie die z1 = w1*x + b1 Punktproduktmultiplikationen), wobei z1 3D ist und b1 Verzerrungen sind.

    2. enden Sie eine Aktivierungsfunktion (z. B. ReLu) an, um z1 nichtlinear zu machen (z. B. a1 = ReLu(z1)), wobei a1 ist 3D.

(2. Faltungsschicht (Conv2) beginnt hier …)

    alten Sie eine Reihe von Filtern entlang der neu berechneten Aktivierungen (dh führen Sie die z2 = w2*a1 + b2 -Punktproduktmultiplikationen durch), wobei z2 ist 3D und und b2 sind Verzerrungen.
  1. wenden eine Aktivierungsfunktion an (z. ReLu), um z2 nichtlinear zu machen (z. B. a2 = ReLu(z2)), wobei a2 3D ist .

Die Frage

Die Definition des Begriffs " Feature-Map " scheint von Literatur zu Literatur zu variieren. Konkret:

  • Entspricht für die erste Faltungsschicht die " Feature-Map " dem Eingabevektor x oder das Ausgabepunktprodukt z1 oder die Ausgabeaktivierungen a1 oder das " verarbeitet " konvertiert x in a1 oder etwas anderes?
  • Entspricht für die 2. Faltungsschicht " die Feature-Map " die Eingabeaktivierungen a1 oder das Ausgabepunktprodukt z2 oder die Ausgabeaktivierung a2 oder der " -Prozess " konvertiert a1 in a2 oder etwas anderes?

Stimmt es außerdem, dass der Begriff " feat Ihre Zuordnung " ist genau dasselbe wie " Aktivierungszuordnung "? (oder bedeuten sie tatsächlich zwei verschiedene Dinge?)

Zusätzliche Referenzen:

Ausschnitte aus Neuronale Netze und Deep Learning – Kapitel 6 :

* Die Nomenklatur wird hier lose verwendet. Insbesondere verwende ich die Feature-Map " ", um nicht die von der Faltungsschicht berechnete Funktion zu bezeichnen, sondern die Aktivierung der Aus der Schicht werden versteckte Neuronen ausgegeben. Diese Art von leichtem Missbrauch der Nomenklatur ist in der Forschungsliteratur ziemlich häufig.

Ausschnitte aus Visualisieren und Verstehen von Faltungsnetzwerken von Matt Zeiler :

In diesem Artikel stellen wir eine Visualisierungstechnik vor, die zeigt die Eingabestimuli, die einzelne Feature-Maps auf einer beliebigen Ebene im Modell anregen. […] Unser Ansatz bietet dagegen eine nicht parametrische Ansicht der Invarianz und zeigt, welche Muster aus dem Trainingsset die Feature-Map aktivieren. [. ..] Eine lokale Kontrastoperation, die die Antworten über Feature-Maps hinweg normalisiert. […] Um eine bestimmte Convnet-Aktivierung zu untersuchen, setzen wir alle anderen Aktivierungen in der Ebene auf Null und übergeben die Feature-Map s als Eingabe für die angehängte Deconvnet-Schicht. […] Das Convnet verwendet Relu-Nichtlinearitäten, die die Feature-Maps korrigieren und so sicherstellen, dass die Feature-Maps immer positiv sind. […] Das Convnet verwendet gelernte Filter, um die Feature-Maps aus dem vorherigen Layer zu falten. […] Abb. 6, diese Visualisierungen sind genaue Darstellungen des Eingabemusters, das die gegebene Merkmalskarte im Modell stimuliert, […] wenn die Teile des ursprünglichen Eingabebildes, die dem Muster entsprechen, verdeckt sind, sehen wir a deutlicher Rückgang der Aktivität innerhalb der Feature-Map. […]

Anmerkungen: führt auch den Begriff " Feature-Map und " korrigierte Feature-Map " in Abb. 1.

Snippets aus Stanford CS231n Kapitel über CNN :

[…] Eine gefährliche Gefahr, die bei dieser Visualisierung leicht erkannt werden kann, besteht darin, dass einige Aktivierungskarten für viele verschiedene Eingaben alle Null sein können, was auf tote Filter hinweisen kann und ein Symptom für hohe Lernraten sein kann […] Typisch aussehende Aktivierungen auf der ersten CONV-Ebene (links) und der 5. CONV-Ebene (rechts) eines trainierten AlexNet, die ein Bild einer Katze betrachten. Jedes Feld zeigt eine Aktivierungskarte, die einem Filter entspricht. Beachten Sie, dass die Aktivierungen spärlich sind (die meisten Werte sind Null, in dieser schwarz dargestellten Visualisierung) und meistens lokal.

Ausschnitte aus A-Anfänger „s-Leitfaden zum Verständnis von Faltungs-Neuronalen Netzen

[…] Jeder eindeutige Ort auf dem Eingangsvolumen erzeugt eine Zahl. Nachdem Sie den Filter über alle Orte geschoben haben, werden Sie feststellen, dass Sie nur noch ein 28 x 28 x 1-Zahlenfeld übrig haben, das wir nennen eine Aktivierungs- oder Feature-Map.

Antwort

Eine Feature-Map, oder Aktivierungszuordnung ist die Ausgabeaktivierung für einen bestimmten Filter (in Ihrem Fall a1) und die Definition ist dieselbe, unabhängig davon, auf welcher Ebene Sie sich befinden.

Feature-Map und Aktivierungskarte bedeuten genau dasselbe eine Aktivierungskarte genannt weil es sich um eine Zuordnung handelt, die der Aktivierung verschiedener Teile des Bildes entspricht, und auch um eine Feature-Map, da es sich auch um eine Zuordnung handelt, wo sich eine bestimmte Art von Feature im Bild befindet. Eine hohe Aktivierung bedeutet, dass ein bestimmtes Merkmal gefunden wurde.

Eine „korrigierte Feature-Map“ ist nur eine Feature-Map, die mit Relu erstellt wurde. Möglicherweise sehen Sie den Begriff „Feature-Map“, der für das Ergebnis der Punktprodukte (z1) verwendet wird, da dies auch eine Karte ist, auf der bestimmte Features im Bild angezeigt werden. Dies ist jedoch nicht üblich.

Kommentare

  • Vielen Dank für die Eingabe. Ihre Antwort stimmt mit meinem Verständnis überein (d. H. Aktivierungskarten sind a1, a2 usw.). In Conv2 würde ich wohl a1 die Eingabeaktivierungszuordnung und a2 die Ausgabeaktivierungszuordnung aufrufen. In Conv1 x das Eingabebild und a1 die Ausgabeaktivierungszuordnung.

Antwort

Geben Sie hier die Bildbeschreibung ein

In der CNN-Terminologie wird die 3 × 3-Matrix als „Filter“ oder „Kernel“ oder „Merkmalsdetektor“ bezeichnet, und die Matrix, die durch Schieben des Filters über das Bild und Berechnen des Punktprodukts gebildet wird, wird aufgerufen die Convolved Feature oder Activation Map oder die Feature Map. Es ist wichtig zu beachten, dass Filter als Feature-Detektoren aus dem ursprünglichen Eingabebild fungieren.

Quelle: https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/

Antwort

Bevor Sie über die Bedeutung der Feature-Map sprechen, definieren Sie einfach den Begriff des Feature-Vektors.

Merkmalsvektor ist die vektorielle Darstellung von Objekten. Zum Beispiel kann ein Auto durch [Anzahl der Räder, Tür. windows, age ..etc].

Feature Map ist eine Funktion, die Feature-Vektoren in einem Raum aufnimmt und in einem anderen in Feature-Vektoren umwandelt. Wenn beispielsweise ein Merkmalsvektor [Volumen, Gewicht, Höhe, Breite] gegeben ist, kann er [1, Volumen / Gewicht, Höhe * Breite] oder [Höhe * Breite] oder sogar nur [Volumen]

zurückgeben

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.