[DL] Convolutional Neural Networks (CNN)

▶ ConvNet의 Conv 레이어 만들기

- CNN 레이어 구조:  하나의 이미지가 존재할 때 이미지를 잘라서 각각 Convolution 층에 넘김. 이 다음 활성화함수 ReLU를 사용하여 학습할 수도 있고, Pooling 층도 존재할 수 있음

- CNN의 기본 원리

· 32*32*3의 형태를 가진 이미지가 존재.(*3인 이유는 색 이미지이기 때문)

· 한 부분만 떼어서 학습을 시작 --> 이 부분 : Filter(5*5*3) --> Filter를 사용하여 한 개의 값을 추출.

· Filter는 값을 어떻게 추출할까? 아래의 그림과 같이 Wx + b와 같은 가설함수를 사용하여 하나의 값을 도출한다. (ReLU 활성화 함수를 앞에 붙이며 대부분 사용)

· 이 Filter를 옆으로 넘기며 이미지에 존재하는 값들을 다 구함. (같은 가중치를 사용하여!)

- CNN의 기본 원리 예제

· 7*7의 이미지 존재 , 3*3의 Filter를 사용. 한칸씩 옮겨가며 필터가 학습.

· 그 결과 5*5의 output이 존재.

· Filter가 옆으로 한 칸씩 움직이면서 학습 == Stride=1(한 칸씩 움직였다)

· Stride=2일 경우 output은 몇 개가 나올까? 3*3 output

· 이미지의 크기와 필터 사이즈에 따른 output의 개수는 다음과 같은 패턴이 존재.

N*N의 이미지, 필터는 F*F, output은 (N-F)/Stride + 1로 나눠주면 output의 사이즈가 나옴.

 

▶ Padding

: 그림의 output값이 너무 작아지는것을 방지, 이미지의 바깥에 0으로 둘러싸이게 함. Filter를 통해 학습을 하더라도 데이터의 손실이 없도록.

▶ Convolution Layers(대략적인 형태)

▶ MaxPooling Layers and others

- Pooling Layer(Sampling)

: 이미지를 resize해서 sampling 하여 그 다음 단계로 넘기는 것

- Max Pooling : Pooling시 Filter에서 가장 큰 값을 고르는 것.

ex) max pool을 하는데 2*2의 Filter, Stride=2로 학습.

▶ Fully Connected Layer(FC Layer)

: 전체 2차원인 이미지를 1차원으로 나열하여 기존의 Neural Network처럼 비교가 가능하도록 하는 것.

 

▶ ConvNet의 활용 예시

- 손글씨 인식 예시

- AlexNet

: Input은 227*227*3(색) 이미지, Conv-Pool-....-MaxPool- FC등의 레이어들로 이루어져 있음.