Study/Deep Learning
[DL] Basic Concept of Deep Learning
jiachoi
2023. 7. 3. 11:21
▶ Background of Deep Learning



▶ Perceptrons
- MLP(Multilayer neural nets)를 사용한다면 XOR 문제를 해결할 수 있음. 퍼셉트론의 개념 등장
- 여러 layer들을 만들어 문제를 해결.
▶ Backpropagation(역전파)

- 모델 학습 후 나온 W와 b의 값을 오차를 통해 조정해나가는 것. 기존 학습 순서를 역방향으로 수행한다.
- Training -> forward -> dog(판별) : 순전파 // Error -> backward -> Trainig : 역전파
- 그러나 Neural net의 문제가 대두

- Neural net의 문제 : 역전파가 층이 깊어지면서 학습이 어려워졌고, 다른 머신러닝 알고리즘들이 더 좋은 성능을 냈다.
▶ Neural Net의 Breakthrough

- 2006년 신경망의 초기값을 잘 준다면 학습이 잘 된다는 논문 발표.
- 2007년 깊은 신경망들도 초기값을 잘 주면 학습을 잘 시킬 수 있다는 논문 발표.
- Neural net에서 이름을 Deep Learning으로 바꿈.