4. 규모가 머신러닝의 발전을 이끈다.

딥러닝(신경망)에 대한 대부분의 개념은 수집 년 동안 계속되어 왔습니다. 왜 이 아이디어가 지금 뜨는 걸까요??

최근 딥러닝 발전을 이끈 가장 중요한 두 가지 요인은 다음과 같습니다.

• 데이터 가용성(Data availability): 사람들은 이제 디지털 장비(랩톱, 모바일 장치)에서 더 많은 시간을 보내고 있습니다. 사람들의 활발한 디지털 활동은 거대한 규모의 데이터를 생산합니다. 그리고 이 데이터는 학습 알고리즘의 입력 데이터로 활용됩니다.
• 계산 규모(Computational Scale): 지금 우리가 가지고 있는 거대한 데이터셋의 잇점을 취할 정도로 충분히 큰 규모의 신경망을 훈련시키는 것이 가능해 진것은 불과 몇 년전 입니다.

조금 더 자세히 설명하자면, 더 많은 데이터를 축적하더라도, 일반적으로 로지스틱 회귀와 같은 오래된 학습 알고리즘 성능이 일정 수준 이후에 더 이상 향상되지 않습니다. 즉, 학습 곡선이 “평평해지고”, 이런 현상이 발생하면 알고리즘은 더 많은 데이터를 입력해도 성능이 개선되지 않습니다.

이러한 현상은 마치 예전 알고리즘이 현재 확보한 데이터로 무엇을 해야할지 모르라서 허둥되는 모습처럼 보입니다.

동일한 지도학습 문제에 작은 신경망으로 적용시킨다 해도, 예전 알고리즘과 비교하여 더 향상된 성능을 얻을 수도 있습니다.

여기에서 “작은 NN”이란 작은 수은 은닉 단위/층/파라미터 만을 갖는 신경망을 의미합니다. 마지막으로 더 큰 크기의 신경망을 학습시키면 더 좋은 성능을 얻을 수 있습니다.¹

따라서 (i)매우 큰 신경망을 훈련할 때 최고의 성능을 얻을 수 있습니다. 위 다이아그램에 녹색 곡선이 되기 위해서는, (ii)엄청난 양의 데이터가 필요합니다.

신경망 구조와 같은 많은 다른 세부 사항들도 중요합니다. 그리고 지난 몇 년간 이 부분에서 많은 혁신이 있었습니다. 그러나 오늘날 알고리즘의 성능을 향상는 가장 안정적인 방법은 더 큰 네트워크를 사용하고 더 많은 데이터를 사용하는 것입니다.

(i)과 (ii)를 성공하는 과정은 놀랍도록 복잡합니다. 이 책에서는 그 방법에 대하여 자세하게 설명할 것입니다. 우선 전통적인 학습 알고리즘과 신경망 모두에 적용 가능한 일반적인 전략부터 설명하고, 딥러닝 시스템 구축을 위한 가장 현대적인 전략까지도 다루겠습니다.