모형의성능을 평가할 때 활용하는 지표들은 각각의 주제에 따라 다양하게 나뉘어진다. 이를 조금 정리해보고자한다.

🚀회귀성능평가지표

🚤정리전

🚀분류성능평가지표

모형이 자료를 정확하게 분류하였는가를 평가하는 지표를 알기위해서는 아래의 정오분류표를 이해하는 것이 중요할 것 같다. 정오분류표는 예측과 관측을 기준으로 아래와 같이 나타난다.

정오분류표

🚤정확도(Accuracy)

정확도는 "모형의 추정(예측)이 실제 관측과 같은 정도(비율)"로 아래의 식과 같다. 분류 모형에서 가장 직관적인 지표라 할 수 있으나 강수유무처럼 True, False의 비율이 유사하지 않고 치우쳐진(imbalance) 자료에서는 "비가 오지 않은 경우가 월등히 많으므로" 평가하기 다소 적절하지 않다고 할 수 있다.  

🚤정밀도(Precision)

정밀도는 "추정값 중 추정이 맞은 정도(비율)"을 의미하며 아래의 식과 같다.

🚤재현율(Recall)

재현율은 "실제 관측에서 사건이 발생 시 이를 제대로 추정한 정도"를 의미하며 아래의 식과 같다. 재현율은 POD(Probability of Detection)라고 부르기도 한다.

🚤오보율(False Alarm Ratio)

오보율은 "모형이 사건이 발생한다고 추정하였을 때 틀린 정도"를 의미하며 아래의 식과 같다.

🚤임계성공지수(Critical Success Index)

임계성공지수는 "사건 발생의 추정 및 관측 자료 중 제대로 추정한 정도"를 의미하며 아래의 식과 같다. Jaccard index와 같다고 볼 수 있으며, IOU(Intersection over Union)라고도 표현한다.

🚤F1 Score

정밀도와 재현률의 조화평균으로 CSI와 유사한 형태이나 맞힘 정도에 가중치가 주어진 형태이다. 불균형 자료에 대해 성능을 평가할 때 많이 활용된다.

🚤ETS(Equitable Threat Score)

ETS는 CSI의 변형으로 CSI는 TP의 빈도에 따라 영향을 받으므로 이를 어느 정도 보정한 지표이다.

🚤정리전

🚀영상분할 성능평가지표(Segmentation)

🚤HD(Hausdorff distance)

Hausdorff distance는 H(A, B)와 H(B, A) 중 큰 값을 의미

원문 참조

🚤AVD(Average Hausdorff distance)

특정 A와 가장 가까운 B사이의 거리들의 평균을 d(A, B)라 한다면 d(A,B)와 d(B, A)의 최대값을 의미한다.

IoU vs F1 score
The home page of Tom with articles and projects.