Ce calculează stratul ascuns dintr-o rețea neuronală?

Versiune în trei propoziții:

• Fiecare strat poate aplica orice funcție doriți stratului anterior (de obicei o transformare liniară urmată de o neliniaritate de zdrobire).

• Lucrarea „Straturilor ascunse” este de a transforma intrările în ceva pe care stratul de ieșire îl poate folosi.

• Stratul de ieșire transformă activările stratului ascuns în orice scară pe care ați dorit ca ieșirea dvs. să fie activată.

Ca tine „re 5:

Dacă doriți ca un computer să vă spună dacă există o autobuz într-o imagine, computerul ar putea avea un timp mai ușor dacă ar avea instrumentele potrivite.

Deci, detectorul dvs. de autobuz ar putea fi făcut dintr-un detector de roți (pentru a vă spune că este un vehicul) și un detector de cutie (deoarece autobuzul are forma unei cutii mari) și un detector de dimensiuni (pentru a vă spune acestea sunt cele trei elemente ale stratului tău ascuns: ele nu fac parte din imaginea brută, sunt instrumente pe care le-ai proiectat pentru a te ajuta să identifici autobuzele.

Dacă toți cei trei detectori pornesc (sau poate dacă sunt „activi în mod special), atunci există șanse mari să aveți un autobuz în fața dvs.

Rețelele neuronale sunt utile pentru că există instrumente bune (cum ar fi propagarea înapoi) pentru a construi o mulțime de detectoare și a le pune împreună.

Ca tine „ești un adult

O rețea neuronală feed-forward aplică o serie de funcții datelor. Funcțiile exacte vor depinde de rețeaua neuronală pe care o utilizați: cel mai frecvent, aceste funcții calculează fiecare o transformare liniară a stratului anterior, urmată de o neliniaritate de zdrobire. Uneori funcțiile vor face altceva (cum ar fi calcularea funcțiilor logice din exemplele dvs. , sau o medie a pixelilor adiacenți dintr-o imagine). Deci, rolurile diferitelor straturi ar putea depinde de funcțiile care sunt calculate, dar voi încerca să fiu foarte general.

Să apelăm intrarea vector $ x $, activările stratului ascuns $ h $ și activarea de ieșire $ y $. Aveți o funcție $ f $ care mapează de la $ x $ la $ h $ și o altă funcție $ g $ care mapează de la $ h $ la $ y $.

Deci activarea stratului ascuns este $ f (x) $ și ieșirea rețelei este $ g (f (x)) $.

De ce să aveți două funcții ($ f $ și $ g $) în loc de una singură?

Dacă nivelul de complexitate pe funcție este limitat, atunci $ g (f (x)) $ poate calcula lucruri pe care $ f $ și $ g $ nu le pot face individual.

Un exemplu cu funcții logice:

De exemplu, dacă permitem doar $ f $ și $ g $ pentru a fi simpli operatori logici precum „ȘI”, „SAU” și „NAND”, atunci nu puteți „calcula alte funcții precum„ XOR ”doar cu una dintre ele. Pe de altă parte, am putea putea calcula „XOR” dacă am fi dispuși să stratificăm aceste funcții una peste alta:

Funcțiile primului strat:

• Asigurați-vă că cel puțin un element este „ADEVĂRAT” (folosind SAU)
• Asigurați-vă că „nu sunt toate„ ADEVĂRAT ”(utilizând NAND)

Funcția celui de-al doilea strat:

• Asigurați-vă că ambele criterii din primul strat sunt îndeplinite (folosind AND)

Ieșirea rețelei este doar rezultatul acestei a doua funcții. Primul strat transformă intrările în ceva pe care al doilea strat îl poate folosi, astfel încât întreaga rețea să poată efectua XOR.

Un exemplu cu imagini:

Slide 61 din această discuție –de asemenea disponibil aici ca o singură imagine – arată (o modalitate de a vizualiza) ceea ce caută diferitele straturi ascunse dintr-o anumită rețea neuronală.

Primul strat caută bucăți scurte de margini în imagine: acestea sunt foarte ușor de găsit din datele brute ale pixelilor, dar nu sunt foarte utile de la sine pentru a vă spune dacă vă uitați la o față sau la un autobuz sau un elefant.

Următorul strat compune marginile: dacă marginile din stratul ascuns inferior se potrivesc într-un anumit mod, atunci unul dintre detectoarele de ochi din mijlocul coloanei din stânga ar putea porni . Ar fi greu să creezi un singur strat care să fie atât de bun la găsirea a ceva atât de specific din pixelii bruti: detectoarele de ochi sunt mult mai ușor de construit din detectoarele de margine decât din pixelii bruti.

Stratul următor sus compune detectoarele de ochi și cele de nas în fețe. Cu alte cuvinte, acestea se vor aprinde când detectoarele de ochi și detectoarele de nas din stratul anterior se vor activa cu modelele potrivite. Acestea sunt foarte bune la căutarea anumitor tipuri de fețe: dacă una sau mai multe dintre ele se aprind, atunci stratul dvs. de ieșire ar trebui să raporteze că este prezentă o față.

Acest lucru este util deoarece detectoarele de față sunt ușor de construit din detectoare de ochi și detectoare de nas, dar foarte greu de construit din intensitățile pixelilor.

Deci fiecare strat te îndepărtează din ce în ce mai mult de pixelii bruti și mai aproape de obiectivul tău final (de exemplu, detectarea feței sau detectarea magistralei).

Răspunsuri la alte întrebări variate

„De ce unele straturi din stratul de intrare sunt conectate la stratul ascuns și altele nu?”

Nodurile deconectate din rețea se numesc noduri „bias”. Există „o explicație foarte frumoasă aici . Răspunsul scurt este că„ le place termenii de interceptare în regresie.

„Unde imaginile „detectorului de ochi” din exemplul de imagine provin? „

Nu am verificat dublu imaginile specifice la care am legat, dar, în general, aceste vizualizări arată setul de pixeli din stratul de intrare care maximizează activitatea neuronului corespunzător. Deci, dacă ne gândim la neuron ca la un detector de ochi, aceasta este imaginea pe care neuronul o consideră a fi cea mai asemănătoare ochiului. Oamenii găsesc de obicei aceste seturi de pixeli cu o optimizare (alpinism) procedură.

În această lucrare a unor oameni Google cu una dintre cele mai mari plase neuronale din lume, arată un neuron „detector de față” și un neuron „detector de pisici” în acest fel, precum și un al doilea mod: arată, de asemenea, imaginile reale care activează cel mai puternic neuronul (figura 3, figura 16). A doua abordare este plăcută, deoarece arată cât de flexibilă și neliniară este rețeaua – acești „detectori” de nivel înalt sunt sensibili la toate aceste imagini, chiar dacă nu arată în mod deosebit la nivelul pixelilor.

Spuneți-mi dacă ceva nu este clar sau dacă mai aveți întrebări.

Comentarii

• Deci, există doar una definită algoritmul pentru fiecare nod de pe un anumit strat și greutățile fac diferitele ieșiri? Sau puteți programa fiecare nod de pe strat să fie diferit?
• @GeorgeMcDowd acest lucru se referă la problema cheie: examinarea pixeli și identificarea autobuzelor este dificilă, așa cum ați sugerat. Din fericire, este ușor să priviți pixeli și să găsiți margini – asta face ‘ toate încercările de a face primul strat ascuns. Următorul strat încearcă pentru a face inferențe bazate pe margini, ceea ce este mult mai ușor decât încercarea de a face acest lucru pe baza pixelilor.
• ASA ar trebui să vă ofere o altă recompensă (decât doar puncte) pentru timpul și efortul pe care l-ați pus în acest răspuns!
• @ JoshuaEnfield Cred că logica din 1980 s a fost o combinație de a fi asemănător cu modul în care oamenii credeau că funcționează creierul, că este diferențiat peste tot și că valorile erau limitate așa cum ați menționat. De atunci, oamenii au descoperit că f(x) = max(x, 0) (” unitate liniară rectificată „) deseori funcționează mai bine, chiar dacă ‘ nu are multe dintre aceste proprietăți.
• Exemplul autobuzului și lanțul de funcții tocmai l-au fixat. Nu ‘ nu înțelegeți de ce manualele nu pot ‘ să fie atât de descriptiv.

Voi încerca să adaug la descrierea operațională intuitivă …

O modalitate intuitivă bună de a gândi la o rețea neuronală este de a gândi despre ceea ce încearcă să facă un model de regresie liniară. O regresie liniară va lua unele intrări și va veni cu un model liniar care ia fiecare valoare de intrare ori de unii coeficienți de ponderare optimi ai modelului și încearcă să mapeze suma acestor rezultate la un răspuns de ieșire care îndeaproape se potrivește cu ieșirea adevărată. Coeficienții sunt determinați prin găsirea valorilor care vor reduce la minimum o anumită eroare între valoarea de ieșire dorită și valoarea învățată de model. Un alt mod de a spune este că modelul liniar va încerca să creeze multiplicatori de coeficienți pentru fiecare intrare și suma tuturor pentru a încerca să determine relația dintre intrarea (multiplă) și (de obicei, singură) ieșirea val ues. Același model poate fi considerat aproape ca elementul de bază al unei rețele neuronale; un perceptron cu o singură unitate.

Dar perceptronul cu o singură unitate are încă o piesă care va procesa suma datelor ponderate într-o manieră neliniară. De obicei, folosește o funcție de zdrobire (sigmoid sau tanh) pentru a realiza acest lucru. Deci, aveți unitatea de bază a stratului ascuns, care este un bloc care va însuma un set de intrări ponderate – apoi transmite răspunsul sumat la o funcție neliniară pentru a crea un răspuns al nodului de ieșire (strat ascuns). Unitatea de polarizare este la fel ca în regresie liniară, un offset constant care se adaugă la fiecare nod care urmează să fie procesat. Datorită blocului de procesare neliniar, nu mai sunteți limitat la răspunsuri numai liniare (ca în modelul de regresie liniară).

Ok, dar când aveți multe dintre unitățile perceptron unice care lucrează împreună, fiecare poate avea multiplicatori de greutate de intrare și răspunsuri diferite (chiar dacă TOATE procesează același set de intrări cu același bloc neliniar descris anterior). Ceea ce face ca răspunsurile să fie diferite este că fiecare are greutăți de coeficient diferite care sunt învățate de rețeaua neuronală prin antrenament (unele forme includ descendența în gradient). Rezultatul tuturor perceptronilor este apoi procesat din nou și trecut la un strat de ieșire, la fel cum au fost procesate blocurile individuale. Întrebarea atunci este cum sunt determinate greutățile corecte pentru toate blocurile?

O modalitate obișnuită de a învăța greutățile corecte este începând cu greutăți aleatorii și măsurând răspunsul de eroare între ieșirea reală reală și învățatul ieșire model. Eroarea va fi de obicei transmisă înapoi prin rețea și algoritmul de feedback va crește sau micșora individual aceste greutăți cu o anumită proporție față de eroare. Rețeaua va itera în mod repetat trecând înainte, măsurând răspunsul de ieșire, apoi actualizând (trecând reglajele de greutate înapoi) și corectând greutățile până la atingerea unui nivel satisfăcător de eroare. În acel moment aveți un model de regresie care poate fi mai flexibil decât un model de regresie liniar, este ceea ce se numește în mod obișnuit un aproximator de funcții universale.

Unul dintre modurile care m-au ajutat cu adevărat să învăț cum funcționează cu adevărat o rețea neuronală este să studiez codul unei implementări a rețelei neuronale și să o construiesc. Una dintre cele mai bune explicații de bază a codului poate fi găsită în capitolul rețea neuronală (disponibil gratuit) „Ghidul pentru DSP al omului de știință și inginer” . 26. Este scris în cea mai mare parte într-un limbaj foarte de bază (cred că era fortran) care te ajută cu adevărat să vezi ce se întâmplă.

Să luăm cazul clasificării. Ceea ce încearcă să facă stratul de ieșire este să estimați probabilitatea condițională ca eșantionul dvs. să aparțină unei clase date, adică cât de probabil este ca eșantionul să aparțină unei clase date. În termeni geometrici, combinarea straturilor într-un mod neliniar prin intermediul funcțiilor de prag permite rețelelor neuronale să rezolve probleme non-convexe (recunoașterea vorbirii, recunoașterea obiectelor și așa mai departe), care sunt cele mai interesante. Cu alte cuvinte, unitățile de ieșire sunt capabile să genereze funcții de decizie neconvexe precum cele descrise aici .

Se pot vizualiza unitățile în straturi ascunse ca învățând caracteristici complexe din date care permit stratului de ieșire să poată discerne mai bine o clasă de alta, pentru a genera limite de decizie mai precise. De exemplu, în cazul recunoașterii feței, unitățile din primele straturi învață trăsături asemănătoare muchiilor (detectează marginile la orientări și poziții date), iar stratul superior învață să le combine pentru a deveni detectoare pentru trăsături faciale precum nasul, gura sau ochii. Ponderile fiecărei unități ascunse reprezintă acele caracteristici, iar ieșirea sa (presupunând că este un sigmoid) reprezintă probabilitatea ca acea caracteristică să fie prezentă în eșantionul dvs.

În general, semnificația ieșirilor de ieșire și straturile ascunse depind de problema pe care încercați să o rezolvați (regresie, clasificare) și de funcția de pierdere pe care o utilizați (entropie încrucișată, erori cel mai puțin pătrate, …)