Úvodní pozadí

V konvoluční neuronové síti obvykle máme obecnou strukturu / tok, který vypadá takto:

  1. vstupní obrázek (tj. 2D vektor x)

(zde začíná první konvoluční vrstva (Conv1)) …)

  1. zapojte sadu filtrů (w1) podél 2D obrazu (tj. proveďte z1 = w1*x + b1 tečkovaná množina produktů), kde z1 je 3D a b1 předsudky.
  2. použít aktivační funkci (např. ReLu), aby z1 byl nelineární (např. a1 = ReLu(z1)), kde a1 je 3D.

(zde začíná 2. konvoluční vrstva (Conv2) …)

  1. spojit sadu filtrů podél nově vypočítaných aktivací (tj. provést z2 = w2*a1 + b2 dot multiplikace), kde z2 je 3D a a b2 jsou předsudky.
  2. použít aktivační funkci (např. ReLu), aby z2 nelineární (např. a2 = ReLu(z2)), kde a2 je 3D .

Otázka

Definice pojmu " mapa funkcí se zdá, že se liší od literatury k literatuře. Konkrétně:

  • Pro 1. konvoluční vrstvu odpovídá " mapa funkcí " vstupnímu vektoru x nebo produkt výstupního bodu z1 nebo aktivace výstupu a1 nebo " proces " převod x na a1 nebo něco jiného?
  • Podobně pro 2. konvoluční vrstvu odpovídá " mapa funkcí " aktivace vstupu a1 nebo produkt výstupního bodu z2 nebo aktivace výstupu a2 , nebo " proces " převedení a1 na a2 nebo něco jiného?

Kromě toho je pravda, že výraz " feat ure mapa " je přesně stejná jako " aktivační mapa "? (nebo to ve skutečnosti znamenají dvě různé věci?)

Další odkazy:

Úryvky z Neuronové sítě a hluboké učení – Kapitola 6 :

* Názvosloví se zde používá volně. Zejména používám " mapu funkcí ", což znamená ne funkci počítanou konvoluční vrstvou, ale spíše aktivaci výstup skrytých neuronů z vrstvy. Tento druh mírného zneužívání nomenklatury je ve výzkumné literatuře docela běžný.

Úryvky z Vizualizace a porozumění konvolučním sítím od Matta Zeilera :

V tomto článku představujeme vizualizační techniku, která odhaluje vstupní podněty, které vzrušují jednotlivé mapy prvků v jakékoli vrstvě modelu. […] Náš přístup naopak poskytuje neparametrický pohled na invariantnost a ukazuje, které vzory z tréninkové sady aktivují mapu prvků. [. ..] operace lokálního kontrastu, která normalizuje reakce napříč mapami funkcí. […] Abychom prozkoumali danou aktivaci konvety, nastavíme všechny ostatní aktivace ve vrstvě na nulu a předáme mapu prvků s jako vstup do připojené vrstvy dekonvnetu. […] Konvektor používá relu nelinearity, které opravují mapy prvků, čímž zajišťují, že mapy prvků jsou vždy pozitivní. […] Konvektor používá naučené filtry k propojení map funkcí z předchozí vrstvy. […] Obr. 6, tyto vizualizace jsou přesnou reprezentací vstupního vzoru, který stimuluje danou mapu prvků v modelu […] když jsou části původního vstupního obrazu odpovídající vzoru uzavřeny, vidíme výrazný pokles aktivity na mapě prvků. […]

Poznámky: zavádí také pojem " mapa funkcí " a " opravená mapa prvků " na obr. 1.

Úryvky z Stanfordské CS231n kapitoly o CNN :

[…] Jedním nebezpečným úskalím, které si při této vizualizaci snadno všimnete, je, že některé aktivační mapy mohou být nulové pro mnoho různých vstupů, což může naznačovat mrtvé filtry a může být příznakem vysokých rychlostí učení […] Typicky vypadající aktivace na první vrstvě CONV (vlevo) a 5. vrstvě CONV (vpravo) vyškoleného AlexNet při pohledu na obrázek kočky. Každé pole zobrazuje aktivační mapu odpovídající nějakému filtru. Všimněte si, že aktivace jsou řídké (většina hodnot je nulová, v této vizualizaci zobrazené černě) a většinou místní.

Úryvky z A-Beginner „s-Guide-To-Understanding-Convolutional-Neural-Networks

[…] Každé jedinečné místo na vstupním svazku produkuje číslo. Po posunutí filtru přes všechna místa zjistíte, že to, co vám zbylo, je pole čísel 28 x 28 x 1, které nazýváme mapa aktivace nebo mapa funkcí.

odpověď

mapa prvků, nebo aktivační mapa, jsou výstupní aktivace pro daný filtr (ve vašem případě a1) a definice je stejná bez ohledu na to, na jaké vrstvě se nacházíte.

Mapa funkcí a mapa aktivace znamenají přesně to samé. nazývá se aktivační mapa protože se jedná o mapování, které odpovídá aktivaci různých částí obrazu, a také o mapu funkcí, protože se jedná také o mapování toho, kde se na obrázku nachází určitý druh prvku. Vysoká aktivace znamená, že byla nalezena určitá funkce.

„Opravená mapa prvků“ je pouze mapa prvků, která byla vytvořena pomocí Relu. Možná byste mohli vidět výraz „mapa funkcí“ použitý pro výsledek bodových produktů (z1), protože to je také opravdu mapa toho, kde jsou určité prvky na obrázku, ale to není běžné vidět.

Komentáře

  • Děkujeme za vstup. Vaše odpověď odpovídá mému porozumění (tj. Aktivační mapy jsou a1, a2 atd.). Myslím, že v Conv2 bych nazval a1 mapu aktivace vstupu a a2 mapu aktivace výstupu. V Conv1 jsem x vstupní obrázek a a1 mapa aktivace výstupu.

Odpověď

zde zadejte popis obrázku

V terminologii CNN se matice 3 × 3 nazývá „filtr“ nebo „jádro“ nebo „detektor vlastností“ a matice vytvořená posunutím filtru přes obraz a výpočtem bodového produktu se nazývá „Convolved Feature“ nebo „Activation Map“ nebo „Feature Map“. Je důležité si uvědomit, že filtry fungují jako detektory funkcí z původního vstupního obrazu.

zdroj: https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/

Odpovědět

Než si promluvíme o tom, co znamená mapa prvků, definujme pojem vektoru prvků.

vektor funkcí je vektorové znázornění objektů. Například auto může být reprezentováno [počet kol, dveří. windows, age ..etc].

Mapa prvků je funkce, která bere vektory prvků v jednom prostoru a transformuje je na vektory prvků v jiném prostoru. Například vzhledem k vektoru funkce [objem, hmotnost, výška, šířka] může vrátit [1, objem / hmotnost, výška * šířka] nebo [výška * šířka] nebo dokonce jen [objem]

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *