Introducere în fundal
În cadrul unei rețele neuronale convoluționale, de obicei avem o structură / flux general care arată astfel:
- imagine de intrare (adică un vector 2D
x)
(primul strat convoluțional (Conv1) începe aici …)
- convoluați un set de filtre (
w1) de-a lungul imaginii 2D (adică facețiz1 = w1*x + b1multiplicări ale produselor cu puncte), undez1este 3D șib1este prejudecăți. - aplicați o funcție de activare (de ex. ReLu) pentru a face
z1neliniar (de ex.a1 = ReLu(z1)), undea1este 3D.
(Al doilea strat convoluțional (Conv2) începe aici …)
- convoluați un set de filtre de-a lungul activărilor nou calculate (adică faceți
z2 = w2*a1 + b2multiplicările produsului cu puncte), undez2este 3D, și șib2sunt părtiniri. - aplicați o funcție de activare (de ex. ReLu) pentru a face
z2neliniar (de ex.a2 = ReLu(z2)), undea2este 3D .
Întrebarea
Definiția termenului " harta caracteristicilor pare să varieze de la literatură la literatură. Concret:
- Pentru primul strat convoluțional, " harta caracteristicilor " corespunde vectorului de intrare
xsau produsul punct de ieșirez1sau activările de ieșirea1sau " proces " convertindxîna1, sau altceva? - În mod similar, pentru al doilea strat convoluțional, corespunde " harta caracteristicilor " activările de intrare
a1sau produsul punct de ieșirez2sau activarea de ieșirea2, sau " procesul " convertinda1îna2sau altceva?
În plus, este adevărat că termenul " feat harta ure " este exact la fel ca " hartă de activare "? (sau înseamnă de fapt două lucruri diferite?)
Referințe suplimentare:
Fragmente din Rețele neuronale și Deep Learning – Capitolul 6 :
* Nomenclatura este utilizată aici în mod liber. În special, „folosesc " harta caracteristicilor " pentru a însemna nu funcția calculată de stratul convoluțional, ci mai degrabă activarea Neuronii ascunși ies din strat. Acest tip de abuz ușor de nomenclatură este destul de frecvent în literatura de cercetare.
Fragmente din Vizualizarea și înțelegerea rețelelor convoluționale de Matt Zeiler :
În această lucrare introducem o tehnică de vizualizare care dezvăluie stimulii de intrare care excită hărțile caracteristice individuale la orice strat din model. […] Abordarea noastră, în schimb, oferă o viziune non-parametrică a invarianței, arătând ce tipare din setul de antrenament activează harta caracteristicilor. [. ..] o operație de contrast local care normalizează răspunsurile între hărțile de caracteristici. […] Pentru a examina o anumită activare convnet, setăm toate celelalte activări din strat la zero și trecem harta caracteristicilor s ca intrare în stratul deconvnet atașat. […] Convnet folosește neliniarități relu, care rectifică hărțile de caracteristici, asigurându-se astfel că hărțile de caracteristici sunt întotdeauna pozitive. […] Convnet folosește filtre învățate pentru a convolva hărțile de caracteristici din stratul anterior. […] Fig. 6, aceste vizualizări sunt reprezentări exacte ale modelului de intrare care stimulează harta caracteristicilor date în model […] atunci când părțile imaginii originale de intrare corespunzătoare modelului sunt ocluse, vedem un scăderea distinctă a activității în harta caracteristicilor. […]
Observații: introduce și termenul " harta caracteristicilor " și " hartă de caracteristici rectificată " în Fig 1.
Fragmente din Stanford CS231n Chapter on CNN :
[…] O capcană periculoasă care poate fi observată cu ușurință cu această vizualizare este că unele hărți de activare pot fi zero pentru multe intrări diferite, care pot indica filtre moarte și pot fi un simptom al ratelor ridicate de învățare […] Activări tipice pe primul strat CONV (stânga) și pe cel de-al 5-lea strat CONV (dreapta) al unui AlexNet antrenat privind o imagine a unei pisici. Fiecare casetă arată o hartă de activare corespunzătoare unui filtru. Observați că activările sunt rare (majoritatea valorilor sunt zero, în această vizualizare afișată în negru) și mai ales locale.
Fragmente din Ghidul-pentru-înțelegerea-rețelelor-neuronale-convoluționale A-Beginner
[…] Fiecare locație unică de pe volumul de intrare produce un număr. După ce ați glisat filtrul peste toate locațiile, veți afla că ceea ce vă rămâne este o matrice de numere de 28 x 28 x 1, pe care o numim o hartă de activare sau o hartă de caracteristici.
Răspuns
O hartă de caracteristici, sau harta de activare, sunt activările de ieșire pentru un anumit filtru (a1 în cazul dvs.) și definiția este aceeași indiferent de ce strat vă aflați.
Harta caracteristicilor și harta de activare înseamnă exact același lucru. Este numită hartă de activare deoarece este o mapare care corespunde activării diferitelor părți ale imaginii și, de asemenea, o hartă a caracteristicilor, deoarece este, de asemenea, o mapare a locului unde se găsește un anumit tip de caracteristică în imagine. O activare ridicată înseamnă că a fost găsită o anumită caracteristică.
O „hartă de caracteristici rectificată” este doar o hartă de caracteristici care a fost creată utilizând Relu. Ați putea vedea termenul „hartă a caracteristicilor” folosit pentru rezultatul produselor cu puncte (z1), deoarece aceasta este, de asemenea, o hartă a locului în care anumite caracteristici sunt în imagine, dar acest lucru nu este obișnuit de văzut.
Comentarii
Răspuns
În terminologia CNN, matricea 3 × 3 se numește „filtru” sau „kernel” sau „detector de caracteristici” și matricea formată prin glisarea filtrului peste imagine și calcularea produsului punct se numește „Caracteristica implicată” sau „Harta de activare” sau „Harta caracteristicilor”. Este important să rețineți că filtrele acționează ca detectoare de caracteristici din imaginea de intrare originală.
sursă: https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
Răspuns
înainte de a vorbi despre ce înseamnă harta caracteristicilor, să definim doar termenul vectorului caracteristicii.
caracteristica vector este reprezentarea vectorială a obiectelor. De exemplu, o mașină poate fi reprezentată prin [numărul de roți, ușă. windows, age ..etc].
harta caracteristicilor este o funcție care ia vectori de caracteristici într-un spațiu și le transformă în vectori de caracteristici în altul. De exemplu, având în vedere un vector caracteristică [volum, greutate, înălțime, lățime], acesta poate returna [1, volum / greutate, înălțime * lățime] sau [înălțime * lățime] sau chiar doar [volum]
a1,a2etc.). În Conv2, cred că aș numia1harta de activare de intrare șia2harta de activare de ieșire. În Conv1, amximaginea de intrare șia1harta de activare a ieșirii.