소개 배경

컨볼 루션 신경망 내에서 일반적으로 다음과 같은 일반적인 구조 / 흐름이 있습니다.

1. 입력 이미지 (예 : 2D 벡터 x)

---

(첫 번째 컨볼 루션 레이어 (Conv1)는 여기서 시작됩니다. …)

2. 2D 이미지를 따라 필터 세트 (w1)를 연결합니다 (예 : z1 = w1*x + b1 내적 곱셈), 여기서 z1는 3D이고 b1는 편향입니다.
3. 활성화 함수 (예 : ReLu)를 적용하여 z1 비선형 (예 : a1 = ReLu(z1))을 만듭니다. 여기서 a1는 3D입니다.

---

(2nd Convolutional layer (Conv2) starts here …)

4. 새로 계산 된 활성화 (즉, z2 = w2*a1 + b2 내적 곱셈 수행)를 따라 필터 세트를 컨볼 루션합니다. 여기서 z2는 3D 및 b2는 편향입니다.
5. 활성화 함수를 적용합니다 (예 : ReLu)를 사용하여 z2 비선형 (예 : a2 = ReLu(z2))을 만듭니다. 여기서 a2는 3D입니다. .

---

질문

" 특징 맵 는 문학마다 다른 것 같습니다. 구체적으로 :

• 첫 번째 컨볼 루션 레이어의 경우 " 피처 맵 "이 입력 벡터에 해당합니까? x, 출력 내적 z1, 출력 활성화 a1 또는 " 프로세스 " x를 a1 또는 다른 무엇입니까?
• 마찬가지로 두 번째 컨볼 루션 레이어의 경우 " 피처 맵 "이 입력 활성화 a1, 출력 내적 z2 또는 출력 활성화 a2 , 또는 " 프로세스 "에서 a1를 a2 또는 다른 무엇입니까?

또한, " feat라는 용어가 사실입니까? ure map "은 정확히 활성화 맵 "? (또는 실제로 두 가지를 의미합니까?)

추가 참조 :

신경망 및 딥 러닝의 스 니펫-6 장 :

* 여기서는 명명법이 느슨하게 사용되고 있습니다. 특히 " 피처 맵 "을 사용하여 컨볼 루션 레이어가 계산 한 함수가 아니라 숨겨진 뉴런이 레이어에서 출력됩니다. 이런 종류의 가벼운 명명법 남용은 연구 문헌에서 매우 일반적입니다.

---

Matt Zeiler의 컨볼 루션 네트워크 시각화 및 이해 :

이 백서에서는 다음과 같은 시각화 기술을 소개합니다. 모델의 모든 계층에서 개별 기능 맵을 자극하는 입력 자극을 표시합니다. […] 이와 대조적으로 우리의 접근 방식은 불변의 비모수 적 뷰를 제공하여 훈련 세트의 어떤 패턴이 기능 맵을 활성화하는지 보여줍니다. ..] 기능 맵에서 응답을 정규화하는 로컬 대비 작업 […] 주어진 convnet 활성화를 검사하기 위해 레이어의 다른 모든 활성화를 0으로 설정하고 기능 맵을 전달합니다. 첨부 된 deconvnet 계층에 대한 입력으로 s. […] convnet은 특성 맵을 수정하여 특성 맵이 항상 양수인지 확인하는 relu 비선형 성을 사용합니다. […] convnet은 학습 된 필터를 사용하여 이전 계층의 기능 맵을 컨볼 루션합니다. […] 그림 6, 이러한 시각화는 패턴에 해당하는 원본 입력 이미지의 일부가 가려 졌을 때 모델에서 주어진 특성 맵을 자극하는 입력 패턴의 정확한 표현입니다. 기능 맵 내에서 활동이 뚜렷하게 감소합니다. […]

참고 : " 기능지도 및 " 수정 된 기능 맵 "

---

스 니펫 CNN의 Stanford CS231n 장 :

[…]이 시각화에서 쉽게 알아 차릴 수있는 한 가지 위험한 함정은 일부 활성화 맵이 여러 다른 입력에 대해 모두 0이 될 수 있다는 것입니다. 이는 데드 필터를 나타낼 수 있으며 높은 학습률의 증상 일 수 있습니다. […] 일반적인 활성화 고양이 사진을보고있는 훈련 된 AlexNet의 첫 번째 CONV 레이어 (왼쪽)와 5 번째 CONV 레이어 (오른쪽)에 있습니다. 모든 상자에는 일부 필터에 해당하는 활성화 맵이 표시됩니다. 활성화는 드물고 (대부분의 값은 0이며,이 시각화에서는 검은 색으로 표시됨) 대부분 로컬입니다.

---