[딥러닝개론] 순전파와 역전파

순전파와 역전파

 

순전파(forward propagation)

• 데이터를 입력으로 받아서, 예측을 출력하는 것.

역전파(back propagation)

• 모델이 출력한 예측과 실제 레이블(정답)이 얼마나 다른지 측정하고, 그에 대한 피드백을 모델에 전달하는 과정을 반복하는 것(학습)
• 학습을 통해 더 예측을 잘하는 모델(더 예측을 잘하는 가중치)로 변해가는 과정.
• 딥러닝 모델을 연구, 개발할 때 사용하는 PyTorch, TensorFlow 등의 딥러닝 프레임워크 - 이러한 프레임워크들은 대부분 Backpropagation을 위한 자동 미분 메서드를 제공

역전파

연쇄법칙(Chain Rule)

• 이 법칙을 활용한다면 아무리 복잡한 신경망 모델이라도 쉽게 역전파를 할 수 있다.
• 이미 계산된 기울기를 활용해서, 다른 기울기 값을 구할 수 있기 때문이다.

 

Chain Rule - 딥러닝 역전파 알고리즘의 핵심 개념

 

배치(batch) 경사하강법

• 데이터마다 오차를 구해 바로 역전파시키는 방식이 아니라, 모든 데이터의 오차가 계산될 때까지 기다리다가 모든 오차의 평균을 낸 비용을 가지고 한 번에 역전파 시키는 방법.
  • 데이터가 달라질 때마다 학습이 들쭉날쭉 진행될 가능성이 적어짐.
  • 한 번 학습을 하는데 너무 오래 기다려야 한다는 단점이 있다. 학습이 느리게 진행됨.
  • 그래서 일반적으로는 미니 배치로 전체 데이터셋을 부분적으로 나눠서 학습을 진행한다. (미니 배치 경사하강법)

 

우선은 기본 개념에 대해서만 간략하게 정리해보았다.  좀 더 깊이 있는 내용은 다음에 다시 정리하도록 하겠다.

배치 처리란 무엇인가요? 배치 처리 시스템 설명 - AWS

 

[비전공자를 위한 딥러닝] 2.7 신경망 (5) - 역전파로 학습하기