Study/Deep Learning

[DL] Basic Concept of Deep Learning

jiachoi 2023. 7. 3. 11:21

▶ Background of Deep Learning

인공신경망 ; 인간 뇌의 작동원리는 매우 간단하다는 것에서 출발, 프로그래밍으로 구현할 수 있다는 생각이 등장하여 발전되기 시작.
인공신경망은 간단한 AND/OR문제를 선형으로 나누어 해결 가능
그러나 Linear 하게 선을 긋더라도 XOR라는 문제를 풀 수 없음. (한계에 마주함)

Perceptrons

- MLP(Multilayer neural nets)를 사용한다면 XOR 문제를 해결할 수 있음. 퍼셉트론의 개념 등장

- 여러 layer들을 만들어 문제를 해결.

Backpropagation(역전파)

- 모델 학습 후 나온 W와 b의 값을 오차를 통해 조정해나가는 것. 기존 학습 순서를 역방향으로 수행한다.

- Training -> forward -> dog(판별) : 순전파 // Error -> backward -> Trainig : 역전파

- 그러나 Neural net의 문제가 대두

- Neural net의 문제 : 역전파가 층이 깊어지면서 학습이 어려워졌고, 다른 머신러닝 알고리즘들이 더 좋은 성능을 냈다.

 

▶ Neural Net의 Breakthrough

- 2006년 신경망의 초기값을 잘 준다면 학습이 잘 된다는 논문 발표.

- 2007년 깊은 신경망들도 초기값을 잘 주면 학습을 잘 시킬 수 있다는 논문 발표.

- Neural net에서 이름을 Deep Learning으로 바꿈.