[딥러닝개론] 신경망 학습 - 경사하강법(gradient descent)
신경망 학습 - 경사하강법(gradient descent) 신경망을 학습시킨다는 것은 모델이 더 예측을 잘하는 방향으로 가중치를 업데이트해 가는 과정인데, 그렇다면 어떻게(어떤 방향으로, 얼마나) 가중치를 업데이트 해갈 것인지에 대한 방법에 대해서도 생각해보아야할 것이다. 경사하강법은 그 방법에 대한 것이다. 비용(예측한 결과가 실제 결과와 얼마나 다른 지를 나타내는 값)을 최소한으로 줄여나가는 것이 학습의 목적이다. 즉, 비용 함수를 일반적인 용어로 목적 함수라고 하는 이유라고도 할 수 있겠다. 다시 말해, 학습은 최적의 가중치 w(최적값, 최솟값)를 찾아가는 과정. 그러나 전체 그래프의 생김새를 알지 못하기 때문에, 기울기를 이용해서 조금씩 이동할 수밖에 없다. 기울기 = 순간 변화량 위의 그래프를 ..
AI/딥러닝기초
2023. 12. 5. 16:00
