[빅데이터] 분류 모형 결과 평가 2. ROC 곡선

분류 모형의 결과를 평가하기 위해서 혼동 행렬을 이용한 평가지표와 ROC 곡선의 AUC를 많이 사용한다.

 

ROC 곡선 (Receiver Operating Characteristic Curve; ROC Curve)

• 가로축(x)을 혼동 행렬의 거짓 긍정률 (FP Rate)로 두고 세로축(y)을 참 긍정률(TP Rate)로 두어 시각화한 그래프
  • 거짓 긍정률 (FP Rate) = 1 - 특이도 
    • 실제로 '부정'인 범주 중에서 '긍정'으로 잘못 예측한 비율
  • 참 긍정률 (TP Rate) = 재현율(민감도)
    • 실제로 '긍정'인 범주 중에서 '긍정'으로 올바르게 예측한 비율
• ROC 곡선은 그래프가 왼쪽 꼭대기에 가깝게 그려질수록 분류 성능이 우수하다.

 

ROC 곡선 특징

• ROC 곡선에서 거짓 긍정률(Rate)과 참 긍정률(TP Rate)은 어느 정도 비례 관계가 있다.
• AUC (Area Under the ROC Curve; AUROC)
  • 진단의 정확도를 측정할 떄 사용
  • ROC 곡선 아래의 면적을 모형의 평가지표로 삼는다
• AUC의 값은 항상 0.5~1의 값을 가지며 1에 가까울수록 좋은 모형
  • 가장 좋은 모형 예
    • 모든 환자에게 양성 판정을 내리고, 모든 정상인에게 음성 판정 내리기