[DL] Neural Network - XOR Problem, Back-propagation

▶ XOR 문제 딥러닝으로 해결하기

- XOR문제는 하나의 유닛으로는 해결할 수 없음.

- NN(Neural Network) -- 여러 유닛을 사용해 XOR문제를 해결할 수 있음.

- NN을 사용한 XOR(식에 대입해보기)

1) 첫 번째 유닛에 XOR(0,0)값 대입, 대입해서 나온 값을 시그모이드 함수에 대입하면 y1값(0) 나옴.

2) 두 번째 유닛에 XOR(0,0)값 대입, 대입해서 나온 값을 시그모이드 함수에 대입하면 y2값(1) 나옴.

3) y1,y2를 최종 유닛에 대입하고 y를 구하여 XOR(0,0)의 결과값과 동일한지 비교.

4) 이러한 방식으로 XOR(0,0)/XOR(0,1)/XOR(1,0)/XOR(1,1)의 값들을 모두 비교.

모두 비교해본 결과 여러 유닛을 사용하여 XOR 문제를 해결할 수 있다는 결과가 나옴.

▶ Forward Propoagation(순전파)

x1, x2값을 각각의 W과 B를 가지고있는 유닛에 넣고, 그 뒤 시그모이드 함수를 적용하며 최종 유닛을 통해 나온 값을 실제 값과 예측 값을 비교.

 

▶ Back Propoagation(역전파)

- Training Data로 W와 B를 어떻게 학습시킬까? = Back propagation

학습을 통해 나온 결과값과 실제 값을 비교해 나온 오차를 바탕으로 되돌아가며 가중치를 학습시킨다.