Bevezetés háttere
A konvolúciós neurális hálózaton belül általában egy általános szerkezettel / folyamattal rendelkezünk, amely így néz ki:
- bemeneti kép (azaz egy 2D vektor
x)
(az 1. konvolúciós réteg (Conv1) itt kezdődik …)
- szűri össze a szűrőkészletet (
w1) a 2D kép mentén (azaz tegye meg az1 = w1*x + b1dot szorzások), ahol azz13D, ésb1elfogultság. - aktiválási függvényt (pl. ReLu) alkalmazva a
z1nemlineáris (pl.a1 = ReLu(z1)), ahola13D.
(A második konvolúciós réteg (Conv2) itt kezdődik …)
- összegyűjti a szűrőkészletet az újonnan kiszámított aktiválások mentén (azaz végezze el a
z2 = w2*a1 + b2dot szorzatokat), aholz23D, és ab2torzítás. - aktiválási funkciót kell alkalmazni (pl. ReLu) hogy a
z2nemlineáris legyen (pl.a2 = ReLu(z2)), ahol aa23D .
A kérdés
A " kifejezés meghatározása irodalmonként eltérő. Konkrétan:
- Az 1. konvolúciós réteg esetében az " jellemzőtérkép " megfelel a bemeneti vektornak
x, vagy a kimeneti ponttermékz1, vagy a kimeneti aktiválásoka1, vagy a " folyamat "xkonvertálásaa1, vagy valami más? - Hasonlóképpen, a 2. konvolúciós réteg esetében az " funkciótérkép " megfelel-e a bemeneti aktiválások
a1, vagy a kimeneti dot szorzatz2, vagy a kimeneti aktiválása2, vagy a " folyamat "a1átalakításaa2, vagy valami más?
Ezenkívül igaz, hogy az " feat kifejezés Az ure térkép " pontosan ugyanaz, mint " aktiválási térkép "? (vagy valójában két különböző dolgot jelentenek?)
További hivatkozások:
Részletek a ideghálózatokról és a mély tanulásról – 6. fejezet :
* A nomenklatúrát itt lazán használják. Különösen " funkciótérképet használok ", hogy nem a konvolúciós réteg által kiszámított funkciót értem, hanem a rejtett neuronok jönnek ki a rétegből. Ez a fajta enyhe visszaélés a nómenklatúrával meglehetősen gyakori a kutatási szakirodalomban.
Kivonatok a A konvolúciós hálózatok megjelenítése és megértése: Matt Zeiler :
Ebben a cikkben bemutatunk egy vizualizációs technikát, amely feltárja azokat a bemeneti ingereket, amelyek az egyes jellemzők térképeit gerjesztik a modell bármely rétegén. […] Szemléletünk ezzel szemben az invariancia nem parametrikus nézetét nyújtja, megmutatva, hogy az edzéskészlet mely mintái aktiválják a jellemző térképet. ..] egy helyi kontraszt művelet, amely normalizálja a válaszokat a jellemző térképeken. […] Egy adott convnet aktiválás vizsgálatához a réteg összes többi aktiválását nullára állítjuk, és átadjuk a jellemző térképet s bemenetként a csatolt deconvnet réteghez. […] A convnet relu nem-linearitásokat használ, amelyek kijavítják a jellemző térképeket, ezzel biztosítva, hogy a jellemző térképek mindig pozitívak. […] A convnet megtanult szűrők segítségével vonja össze az előző réteg jellemző térképeit. […] 6. ábra: ezek a vizualizációk pontos ábrázolása annak a bemeneti mintának, amely stimulálja az adott jellemző térképet a modellben […] amikor az eredeti bemeneti kép mintának megfelelő részei el vannak zárva, akkor egy az aktivitás egyértelmű csökkenése a jellemző térképen belül. […]
Megjegyzések: bevezeti az " funkciók térképét " és " kijavított jellemzőtérkép " az 1. ábrán.
Kivonatok a Stanford CS231n fejezetről a CNN-en :
[…] Az egyik veszélyes buktató, amely könnyen észrevehető ezzel a megjelenítéssel, az, hogy egyes aktiválási térképek sokféle bemenetnél nulla értékűek lehetnek, ami halott szűrőket jelezhet, és a magas tanulási arány tünete lehet […] Tipikus megjelenésű aktiválások egy macskaképet néző képzett AlexNet első CONV rétegén (bal oldalon) és az 5. CONV rétegén (jobb oldalon). Minden mezőben megjelenik valamilyen szűrőnek megfelelő aktiválási térkép. Ne feledje, hogy az aktiválások ritkák (a legtöbb érték nulla, ebben a megjelenítésben fekete színnel jelenik meg) és többnyire helyi.
Kivonatok a A-kezdő “s-Útmutató a konvolúciós-neurális hálózatok megértéséhez
[…] A bemeneti kötet minden egyedi helye számot eredményez. Miután áthúzta a szűrőt az összes helyre, megtudhatja, hogy ami Önnek marad, az egy 28 x 28 x 1 számtömb, amelyet hívunk aktiválási térkép vagy funkciótérkép.
Válasz
Funkciótérkép, vagy aktiválási térkép, egy adott szűrő kimeneti aktiválása (az Ön esetében a1), és a meghatározás ugyanaz, függetlenül attól, hogy milyen rétegen van.
A és a funkciótérkép pontosan ugyanazt jelenti. aktivációs térképnek nevezzük mert ez egy leképezés, amely megfelel a kép különböző részeinek aktiválódásának, és egy jellemző térkép is, mert ez egyben annak a feltérképezése is, ahol egy bizonyos jellegzetesség található a képen. A magas aktiválás azt jelenti, hogy egy bizonyos funkció megtalálható.
A “kijavított jellemzők térkép” csak a Relu használatával létrehozott jellemző térkép. Lehet, hogy látja a “jellemző térkép” kifejezést, amelyet a ponttermékek eredményéhez használnak (z1), mert ez valójában egy térkép is, ahol bizonyos jellemzők találhatók a képen, de ezt nem gyakran látni.
Megjegyzések
Válasz
A CNN terminológiájában a 3 × 3 mátrixot „szűrőnek” vagy „kernelnek” vagy „jellemző detektornak” nevezik, és a mátrixot, amelyet a szűrő áthúzásával a képre és a ponttermék kiszámítására hívnak. az „Összevont jellemző” vagy az „Aktiválási térkép” vagy a „Szolgáltatási térkép”. Fontos megjegyezni, hogy a szűrők jellemző detektorokként működnek az eredeti bemeneti képről.
forrás: https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
Válasz
mielőtt beszélnénk arról, hogy mit jelent a jellemző térkép, hadd definiáljuk csak a jellemző vektor kifejezését.
A jellemző vektor az objektumok vektoros ábrázolása. Például egy autó ábrázolható a [kerekek száma, ajtó. windows, age ..etc].
A jellemző térkép egy olyan funkció, amely az egyik vektorba vonja a vonásvektorokat, a másikban pedig átalakítja jellemzővektorokká. Például, ha egy jellemzővektort [térfogat, súly, magasság, szélesség] adhat vissza, [1, térfogat / súly, magasság * szélesség] vagy [magasság * szélesség] vagy akár csak [térfogat]
a1,a2stb.). A Conv2-ben azt hiszem, hogy aza1-t bemeneti aktiválási térképnek hívom, ésa2a kimeneti aktiválási térképnek. A Conv1-benxa bemeneti képet, ésa1a kimenet aktiválási térképét.