Wprowadzenie – tło

W obrębie konwolucyjnej sieci neuronowej zwykle mamy ogólną strukturę / przepływ, który wygląda następująco:

  1. obraz wejściowy (tj. wektor 2D x)

(tutaj zaczyna się pierwsza warstwa konwolucyjna (Conv1) …)

  1. ułóż zestaw filtrów (w1) wzdłuż obrazu 2D (tj. wykonaj z1 = w1*x + b1 iloczyn skalarny), gdzie z1 to 3D, a b1 to uprzedzenia.
  2. zastosuj funkcję aktywacji (np. ReLu), aby uczynić z1 nieliniowym (np. a1 = ReLu(z1)), gdzie a1 to 3D.

(tutaj zaczyna się druga warstwa konwolucyjna (Conv2) …)

  1. ułóż zestaw filtrów wzdłuż nowo obliczonych aktywacji (tj. wykonaj z2 = w2*a1 + b2 iloczyn skalarny), gdzie z2 to 3D i b2 to odchylenia.
  2. zastosuj funkcję aktywacji (np. ReLu), aby uczynić z2 nieliniowym (np. a2 = ReLu(z2)), gdzie a2 to 3D .

Pytanie

Definicja terminu " mapa funkcji " wydaje się różnić w zależności od literatury. Konkretnie:

  • Czy dla pierwszej warstwy splotu " mapa cech " odpowiada wektorowi wejściowemu x lub wynikowy iloczyn skalarny z1 lub aktywacje wyjścia a1 lub " proces " konwertowanie x na a1 czy coś innego?
  • Podobnie, dla drugiej warstwy konwolucyjnej, czy " mapa cech " odpowiada aktywacje wejścia a1, iloczyn skalarny wyjścia z2 lub aktywacja wyjścia a2 lub " proces " konwertujący a1 na a2 czy coś innego?

Ponadto, czy prawdą jest, że termin " feat Mapa ure " jest dokładnie to samo co " mapa aktywacji "? (czy właściwie oznaczają dwie różne rzeczy?)

Dodatkowe odniesienia:

Fragmenty z Sieci neuronowe i głębokie uczenie – rozdział 6 :

* Nazewnictwo jest tutaj używane luźno. W szczególności „używam " mapy funkcji " do oznaczenia nie funkcji obliczanej przez warstwę splotową, ale raczej aktywację wyjście ukrytych neuronów z warstwy. Ten rodzaj łagodnego nadużycia nomenklatury jest dość powszechny w literaturze naukowej.

Fragmenty z Wizualizacja i zrozumienie sieci splotowych autorstwa Matta Zeilera :

W tym artykule przedstawiamy technikę wizualizacji, która ujawnia bodźce wejściowe, które pobudzają poszczególne mapy cech w dowolnej warstwie modelu. […] Natomiast nasze podejście zapewnia nieparametryczny obraz niezmienności, pokazujący, które wzorce ze zbioru uczącego aktywują mapę cech. [. ..] lokalna operacja kontrastu, która normalizuje odpowiedzi na mapach cech. […] Aby zbadać daną aktywację convnet, ustawiamy wszystkie inne aktywacje w warstwie na zero i przekazujemy mapę cech s jako dane wejściowe do dołączonej warstwy dekonvnet. […] Convnet używa nieliniowości relu, które korygują mapy cech, zapewniając w ten sposób, że mapy cech są zawsze dodatnie. […] Convnet używa wyuczonych filtrów do konwertowania map obiektów z poprzedniej warstwy. […] Ryc. 6, te wizualizacje są dokładnymi reprezentacjami wzorca wejściowego, który stymuluje daną mapę cech w modelu […] kiedy części pierwotnego obrazu wejściowego odpowiadające wzorowi są przesłonięte, widzimy wyraźny spadek aktywności na mapie obiektów. […]

Uwagi: wprowadza również termin " mapa funkcji " i " poprawiona mapa obiektów " na rys. 1.

Fragmenty z rozdziału CNN Stanford CS231n :

[…] Jedną niebezpieczną pułapką, którą można łatwo zauważyć za pomocą tej wizualizacji, jest to, że niektóre mapy aktywacji mogą mieć wartość zero dla wielu różnych danych wejściowych, co może wskazywać na martwe filtry i może być objawem wysokich współczynników uczenia się […] Typowo wyglądające aktywacje na pierwszej warstwie CONV (po lewej) i piątej warstwie CONV (po prawej) wyszkolonej AlexNet patrzącej na zdjęcie kota. Każde pole pokazuje mapę aktywacji odpowiadającą danemu filtrowi. Zwróć uwagę, że aktywacje są rzadkie (większość wartości to zero, w tej wizualizacji jest to czarne) i przeważnie lokalne.

Fragmenty z A-Beginner „s-Guide-To-Understanding-Convolutional-Neural-Networks

[…] Każda unikalna lokalizacja na wolumenie wejściowym tworzy liczbę. Po przesunięciu filtru na wszystkie lokalizacje, dowiesz się, że to, co zostaje, to tablica liczb 28 x 28 x 1, którą nazywamy mapa aktywacji lub mapa funkcji.

Odpowiedź

Mapa obiektów, lub mapa aktywacji, to aktywacje wyjścia dla danego filtra (w twoim przypadku a1), a definicja jest taka sama niezależnie od tego, na której warstwie jesteś.

Mapa funkcji i mapa aktywacji oznaczają dokładnie to samo. nazywana mapą aktywacji ponieważ jest to odwzorowanie, które odpowiada aktywacji różnych części obrazu, a także mapa cech, ponieważ jest to również odwzorowanie miejsca, w którym na obrazie znajduje się pewien rodzaj cechy. Wysoka aktywacja oznacza, że znaleziono określoną funkcję.

„Naprawiona mapa obiektów” to po prostu mapa obiektów utworzona za pomocą Relu. Możesz prawdopodobnie zobaczyć termin „mapa cech” używany dla wyniku iloczynów skalarnych (z1), ponieważ jest to tak naprawdę mapa miejsc, w których znajdują się pewne cechy na obrazie, ale nie jest to powszechne.

Komentarze

  • Dziękujemy za przesłanie. Twoja odpowiedź jest zgodna z moim rozumieniem (tj. Mapy aktywacji to a1, a2 itp.). W Conv2 chyba nazwałbym a1 mapę aktywacji wejścia, a a2 mapę aktywacji wyjścia. W Conv1 x obraz wejściowy i a1 mapę aktywacji wyjścia.

Odpowiedź

tutaj wprowadź opis obrazu

W terminologii CNN macierz 3 × 3 nazywana jest „filtrem”, „jądrem” lub „detektorem cech”, a macierz utworzona przez nasunięcie filtru na obraz i obliczenie iloczynu skalarnego to „Połączona funkcja” lub „Mapa aktywacji” lub „Mapa funkcji”. Należy pamiętać, że filtry działają jako detektory cech oryginalnego obrazu wejściowego.

źródło: https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/

Odpowiedź

Zanim porozmawiamy o tym, co oznacza mapa obiektów, po prostu zdefiniujmy pojęcie wektora cech.

wektor cech jest wektorową reprezentacją obiektów. Na przykład samochód może być reprezentowany przez [liczba kół, drzwi. windows, age .. etc].

Mapa cech to funkcja, która pobiera wektory cech w jednej przestrzeni i przekształca je w wektory cech w innej. Na przykład biorąc pod uwagę wektor cech [objętość, waga, wysokość, szerokość], może on zwrócić [1, objętość / waga, wysokość * szerokość] lub [wysokość * szerokość] lub nawet po prostu [objętość]

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *