Research Notes

▶ ConvNet의 Conv 레이어 만들기 - CNN 레이어 구조: 하나의 이미지가 존재할 때 이미지를 잘라서 각각 Convolution 층에 넘김. 이 다음 활성화함수 ReLU를 사용하여 학습할 수도 있고, Pooling 층도 존재할 수 있음 - CNN의 기본 원리 · 32*32*3의 형태를 가진 이미지가 존재.(*3인 이유는 색 이미지이기 때문) · 한 부분만 떼어서 학습을 시작 --> 이 부분 : Filter(5*5*3) --> Filter를 사용하여 한 개의 값을 추출. · Filter는 값을 어떻게 추출할까? 아래의 그림과 같이 Wx + b와 같은 가설함수를 사용하여 하나의 값을 도출한다. (ReLU 활성화 함수를 앞에 붙이며 대부분 사용) · 이 Filter를 옆으로 넘기며 이미지에 존재하는 ..

▶ XOR 문제 딥러닝으로 해결하기 - XOR문제는 하나의 유닛으로는 해결할 수 없음. - NN(Neural Network) -- 여러 유닛을 사용해 XOR문제를 해결할 수 있음. - NN을 사용한 XOR(식에 대입해보기) 1) 첫 번째 유닛에 XOR(0,0)값 대입, 대입해서 나온 값을 시그모이드 함수에 대입하면 y1값(0) 나옴. 2) 두 번째 유닛에 XOR(0,0)값 대입, 대입해서 나온 값을 시그모이드 함수에 대입하면 y2값(1) 나옴. 3) y1,y2를 최종 유닛에 대입하고 y를 구하여 XOR(0,0)의 결과값과 동일한지 비교. 4) 이러한 방식으로 XOR(0,0)/XOR(0,1)/XOR(1,0)/XOR(1,1)의 값들을 모두 비교. 모두 비교해본 결과 여러 유닛을 사용하여 XOR 문제를 해결할..

▶ Background of Deep Learning ▶ Perceptrons - MLP(Multilayer neural nets)를 사용한다면 XOR 문제를 해결할 수 있음. 퍼셉트론의 개념 등장 - 여러 layer들을 만들어 문제를 해결. ​ ▶ Backpropagation(역전파) - 모델 학습 후 나온 W와 b의 값을 오차를 통해 조정해나가는 것. 기존 학습 순서를 역방향으로 수행한다. - Training -> forward -> dog(판별) : 순전파 // Error -> backward -> Trainig : 역전파 - 그러나 Neural net의 문제가 대두 - Neural net의 문제 : 역전파가 층이 깊어지면서 학습이 어려워졌고, 다른 머신러닝 알고리즘들이 더 좋은 성능을 냈다. ▶ ..

▶ Multinomial Classification(다중 분류) - softmax 함수 기반 : 함수 이후의 값이 0~1사이의 값이고, 전체 값의 합이 1이 되는 함수 : y값에서 softmax함수에 대입해 나온 값들 중 제일 큰 값을 제외하고 1로 만들수 있음, 이를 참조하여 최종 선택을 결정. == One-Hot Encoding ​ ▶ Cost Function : Cross-entropy - Logistic cost VS cross entropy(위와 아래 식이 동일) - Cross-entropy cost function