모델 훈련

모델 훈련

머신러닝 모델과 훈련 알고리즘을 블랙박스처럼 취급했다. 그러니까 모델이 어떻게 구현되어 있는지, 훈련 알고리즘은 또 어떻게 파라미터를 조정하는지 수학적 관점에서 보지 않았다.

모든 것을 알아야 할 필요는 없지만 내가 쓰는 모델이 어떻게 작동하는지 잘 이해하고 있으면 적절한 모델, 올바른 훈련 알고리즘, 작업에 맞는 좋은 하이퍼파라미터를 빠르게 찾을 수 있다.

선형 회귀 모델 훈련 시키기

1. 직접 계산할 수 있는 공식을 사용하여 훈련 세트에 가장 잘 맞는 모델 파라미터 (즉, 훈련세트에 대해 비용 함수를 최소화하는 모델 파라미터)를 해석적으로 구한다.

2. 반복적인 최적화 방식을 사용하여 모델 파라미터를 조금씩 바꾸면서 비용 함수를 훈련 세트에 대해 최소화시킵니다.

   • 경사 하강법
   • 배치 경사 하강법
   • 미니배치 경사 하강법
   • 확률적 경사 하강법