비용 함수 MSE를 미분하여 경사하강법 유도

2장. 지도학습

  • 지도학습
    • “Input/Label”로 구성된 사례 데이터를 이용하여 ML 모델을 학습
    • 최종 목표: 새로운 데이터를 정확하게 에측하는 것
    • 유형: 회귀 & 분류

2.1 분류와 회귀

지도학습 요약
그림 1: 지도학습 요약

2.2 일반화, 과대적합, 과소적합

  • Generalization:
    • 일반화
    • 새로운 데이터에 정확한 예측을 제공하는 모델의 역량
    • 모델이 복잡해 지면 학습셋에만 정확한 예측 제공
    • 학습데이터에만 정확도를 보이는 상태를 과대적합(Overfitting) 되었다고 함
    • 데이터의 노이즈가지 학습한 상태를 의미
  • Overfitting
    • 학습셋에는 좋은 정확도를 보이지만, 새로운 데이터에 대해서 정확도가 상당히 떨어짐
    • 과도하게 복잡한 모델 사용
    • 모든 데이터 암기
    • 학습셋의 노이즈까지 익힌 상태
  • Underfitting
    • 학습이 아직 부족한 상태
모델 복잡도 & Epoch에 대한 과대적합 & 과소적합
그림 2: 모델 복잡도 & Epoch에 대한 과대적합 & 과소적합
작성자: 김태완
김태완 avatar
작성자: 김태완
1999년 부터 Java, Framework, Middleware, SOA, DB Replication, Cache, CEP, NoSQL, Big Data, Cloud를 키워드로 살아왔습니다. 현재는 한국오라클 빅데이터 팀 소속으로 빅데이터와 Machine Learning을 중점에 두고 있습니다. 최근에는 Deep Learning을 열공 중입니다.
E-mail: taewanme@gmail.com