• 원문제목: 9. Optimizing and satisficing metrics
• 최종 업데이트: 2018년 06월 06일
• 목차이동: Machine Learning Yearning 목차
• 저자: Andrew NG
• 원문: http://www.mlyearning.org
• 분류: Setting up development and test sets

여러 평가 지표를 결합하는 또 다른 방법이 있습니다.

학습 알고리즘의 정확성과 실행 시간이 핵심 지표라고 가정 해 보겠습니다. 다음 세 개 분류기 중의 하나를 선택해야 합니다.

정확성과 실행 시간을 다음과 같은 수식에 넣어 단일 지표를 유도하는 것은 부자연스럽습니다.

Accuracy - 0.5*RunningTime

대신 다음과 같이 방식을 사용할 수 있습니다. 첫째, “허용 가능” 실행 시간을 정의합니다. 100ms에서 실행되는 모든 것을 허용 할 수 있습니다. 그런 다음 실행 시간 기준을 만족하는 분류기에 대해서 정확도 극대화합니다. 여기서 실행 시간은 “만족 지표(satisficing metric)“입니다. 실행 시간은 최대 100ms를 넘지 말아야 한다는 기준에 대하여, 여러분의 분류기는 이 지표를 “충분히 만족” 해야 합니다. 정확성은 “최적화 지표”입니다.

만약에 모델의 바이너리 파일 크기(모바일 앱에서는 중요한 요소, 사용자는 크기가 큰 앱을 원치 않음), 실행 시간, 정확도와 같은 N개의 다른 기준을 다뤄야 한다면, N-1개 지표를 만족 지표로 설정하는 것이 좋습니다. 단순히 모델이 충족 지표의 특정 수치를 충족하는지를 확인합니다. 마지막으로 한개 지표를 “최적화 지표”를 정의합니다. 예를 들어서 바이너리 파일 크기 및 실행 시간에 허용되는 임곗값을 설정하고, 이러한 제한 조건을 만족하는 모델의 정확도를 최적화합니다.

마지막 예를 들어, 마이크를 사용하여 특정 “웨이크워드(wakeword)”¹를 말하는 사용자의 말을 듣고 시스템이 활성화되도록 하드웨어 장치를 구축한다고 가정합니다. 예를 들어 Amazon Echo가 “Alexa”를 인식합니다. Apple Siri는 “Hey Siri”를 듣습니다. 안드로이드가 “Okay Google”을 인식하고, Baidu 애플리케이션은 “Hello Baidu”를 듣습니다. 팀은 거짓 양성비(false positive rate)과 거짓 음성비(false negative rate)을 고려하고 있습니다. 여기서 거짓 양성비(false positive rate²)란 아무도 웨이크워드를 말하지 않았지만 시스템이 활성화되는 빈도를 의미하고, 거짓 음성비(false negative rate)는 웨이크워드를 말해도 시스템이 활성화되지 않는 빈도를 의미합니다. 이 시스템 성능에 대한 하나의 합리적인 목표는 24시간 작동 기준으로 1개 이상의 거짓 양성(만족 지표)이 발생하지 않는 것을 전제 조건으로 거짓 음성비(최적화 지표)를 최소화하는 것입니다.

개발 팀에서 최적화를 위한 평가 지표가 맞춰지면, 팀은 더 빠른 개선이 가능해 질 것입니다.