[Object Detection] Metric - loU, mAP

*이 포스트는 강의 요약 포스트입니다.

 

Open Image Dataset Ground Truth

• Object Detection 문제 영역의 Ground Truth 데이터는 사람이 지정한 Bounding Box와 Class Label 이다.
• 정답 Ground Truth 데이터와 비교했을 때, 예측 값의 성능을 비교하기 위한 Metric이 필요하다.

---

 

Metric-1 Intersection over Union(loU) Metric

• loU은 1개의 Bounding Box와 1개의 Bounding Box가 얼마나 일치하는 지를 0.0~1.0 사이의 값으로 표현한다.
• 2개의 Bounding Box가 일치할 수록 1.0에 가까운 값이 되고, 일치하지 않을 수록 0.0에 가까운 값이 나온다.

Metric 2 - Precision, Recall, F1

• Precision: 정밀도(Precision)는 검색된 결과들 중 관련 있는 것으로 분류된 결과물의 비율
• Recall: 재현율(Recall)은 관련 있는 것으로 분류된 항목들 중 실제 검색된 항목들의 비율
• F1: Precision과 Recall의 조화 평균, Precision과 Recall을 한번에 비교할 수 있다.

 

Metric 2 - Average Precision(AP)

• Positive 판단 기준: 일정한 임계치의 loU(예를 들어, Pascal VOC 데이터셋의 경우, 0.5)를 넘기면 맞춘 것으로 간주
• Average Precision(AP): Recall 별 Precision의 평균 (Confidence가 높은 예측 결과 순으로 내림차순 정렬했을 때 몇번 째 이미지 까지를 비교대상으로 삼을 것인가?)

Metric 2 - Mean Average Precision(mAP)

• Mean Average Precision(mAP): class들의 Average Precision의 평균

 

Metric 3 - MS COCO Metric

 좀 더 엄밀한 측정을 위해서 MS COCO Dataset의 경우, 다음과 같은 다양한 평가 Metric을 제안하였다.

 (최근에도 가장 많이 사용되는 Metric 중 하나이다.)

---

REFERENCE 

https://debuggercafe.com/evaluation-metrics-for-object-detection/