7. 객체 탐지 모델 성능 지표:IoU,Precision,Recall,AP,mAP,FPS

2.인공지능/개념&이론

7. 객체 탐지 모델 성능 지표:IoU,Precision,Recall,AP,mAP,FPS

쿼드큐브 2025. 4. 23. 18:04

728x90

객체 탐지 모델의 성능을 평가할 때 사용하는 대표적인 지표들을 정리했습니다.

객체 탐지 모델 성능 지표:IoU,Precision,Recall,AP,mAP,FPS

목차
1. IoU(Intersection over Union)

2. Precision(정밀도)

3. Recall(재현율,민감도)

4. P-R Trade-Off, P-R Curve

5. AP(Average Precision)

6. mAP(mean Average Precision)

7. FPS(Frames Per Second)

관련 글 링크

1. IoU(Intersection over Union)

IoU는 예측한 바운딩 박스와 실제 바운딩 박스가 얼마나 겹치는지를 비율로 나타낸 지표입니다.
IoU는 객체 탐지의 위치 정확도를 판단하는 핵심 지표입니다.
값의 범위는 0에서 1 사이입니다.

IoU 값이 클수록 예측이 실제와 잘 맞았다는 뜻입니다.
객체 탐지 알고리즘의 성능을 평가할 때 정탐 여부 결정 및 정확도 계산에 사용됩니다.

IoU를 적용하기 위해서는 두 가지가 필요합니다.

1. ground-truth bounding boxes(testing set에서 object 위치를 labeling 한것)

2. prediceted bounding boxes (model이 출력한 object 위치 예측값)

출처:https://nikhilroxtomar.medium.com/what-is-intersection-over-union-iou-in-object-detection-idiot-developer-39448ac56431

area of overlab은 prediceted bounding box와 ground-truth bounding box가 겹치는 부분입니다.

area of unin은 predicted bounding box와 ground-truth bounding box를 둘러싸는 영역입니다.

◆ 해석 예시

예측 박스와 실제 박스가 완전히 일치할 경우 IoU = 1.0
겹치는 부분이 전혀 없으면 IoU = 0.0

◆ 적용 기준

일반적으로 IoU ≥ 0.5일 때 정탐(True Positive)으로 간주
두 box의 크기가 동일하다 가정하면, 두 개의 box가 적어도 2/3는 겹쳐줘야 0.5의 값이 나오기 때문에 여러 곳에서 IoU의 threshold 값을 0.5로 잡아서 사용하는 듯 하다
COCO 평가 기준에서는 IoU를 0.5부터 0.95까지 다양한 수준에서 평가

◆ 주의사항

IoU는 위치 정보만 평가하므로 클래스 분류 오류는 반영하지 않습니다.

2. Precision(정밀도)

Precision(정밀도)는 모델이 탐지한(또는 분류한) 결과 중에서 실제로 정답인 비율을 의미합니다.
즉, 모델이 "이건 정답!"이라고 말한 것들 중에서 실제로 정답인 것이 얼마나 많은지를 평가합니다.

Precision은 오탐(False Positive)을 줄이고 싶을 때 중요한 지표입니다.
즉, 모델이 잘못된 판단을 하지 않게 하고 싶을 때 우선적으로 확인해야 할 지표입니다.

◆ 정밀도가 중요한 사례

분야	설명
의료 영상 분석	암이 아닌 부위를 암이라고 탐지하는 것은 심각한 오진 → 정밀도 중요
스팸 필터링	정상 메일을 스팸으로 오탐지하면 사용자 불만 ↑ → 정밀도 중요
보안 시스템	정상 사용자를 위협 요소로 잘못 판단하면 사용 경험 ↓

◆ 주의사항

Precision이 높더라도 Recall(재현율)이 낮을 수 있습니다.
예를 들어, 아예 탐지를 많이 하지 않으면 FP는 줄어 Precision이 높게 나올 수 있기 때문입니다.

예시:

모델이 단 1개의 객체만 탐지했고, 그것이 정답이었다면 → Precision = 100%
하지만 나머지 수십 개의 객체를 놓쳤다면 → Recall은 매우 낮음

3. Recall(재현율,민감도)

Recall(재현율)은 전체 실제 양성 샘플 중에서 모델이 얼마나 많이 정확하게 탐지했는지를 나타내는 비율입니다.
즉, 놓친 정답이 얼마나 적은지를 측정합니다.

Recall은 중요한 객체(양성)를 놓치지 않는 능력을 평가합니다.
실제 중요한 케이스를 빠뜨리면 안 되는 보안, 의료, 이상 탐지 분야에서 특히 중요합니다.

◆ Recall이 중요한 사례

분야	설명
보안 시스템	침입자를 탐지 못하면 심각한 보안 사고 발생 가능 → 놓치지 않아야 함
의료 진단 (예: 암 검사)	실제 질병을 놓치면 환자가 치료 시기를 놓칠 수 있음
재난 경보 시스템	지진, 화재 탐지 등에서 놓침은 큰 피해로 이어짐
스팸/피싱 이메일 탐지	위험 이메일을 놓치면 보안 위협 발생 가능

◆ 주의사항

Recall을 높이기 위해 임계값을 낮추면, 놓치는 경우는 줄지만 오탐(False Positive)이 증가해서 Precision(정밀도)는 낮아질 수 있습니다.

모델이 가능한 많은 것을 탐지하기 위해 과하게 민감하게 작동

결과적으로 진짜는 다 잡지만 가짜도 많이 잡음
→ Recall ↑, Precision ↓

4. P-R Trade-Off 와 P-R Curve

Precision (정밀도), Recall (재현율)이 임계값(Threshold) 변화에 따라 어떻게 달라지는지를 동시에 보여주는 시각화입니다.

이 그래프를 통해 세 가지 요소의 상호관계를 직관적으로 이해할 수 있습니다.

출처:https://www.linkedin.com/pulse/precision-recall-trade-off-finding-balancing-point-6-javier-rjibf

정밀도가 아무리 높더라도, 재현율이 낮으면 중요한 데이터를 놓칠 수 있습니다.

반대로, 재현율이 높아도 정밀도가 낮으면 많은 오탐(false positive)을 유발할 수 있습니다.

따라서 문제의 특성에 따라 적절한 균형을 찾아야 하며, 보통 F1 Score와 같은 조화 평균을 사용하여 이 트레이드오프를 완화합니다.

◆ P-R Curve

PR Curve는 예측 확률의 임계값(threshold)을 변화시키면서 Precision과 Recall의 관계를 시각화한 것입니다.

x축: Recall, y축: Precision
→ Recall이 증가할수록 Precision이 감소하는 경향이 있습니다.
곡선 아래 면적 (AP): 모델의 전반적인 성능을 요약
→ 면적이 클수록 양성 클래스를 더 잘 분류

특정 threshold 에서, Recall = 0.8, Precision = 0.6 이라고 할 때
→ 실제 양성 중 80%를 잡아냈지만, 예측한 것 중 60%만 실제 양성이라는 의미
AP = 0.81 이면, 다양한 threshold를 적용했을 때, 모델의 전체적인 정밀도와 재현율의 균형 성능이 평균적으로 81%라는 의미입니다.
모델이 threshold 값을 조정하더라도 일관되게 좋은 성능을 보인다는 뜻입니다.

5. AP(Average Precision)

AP는 한 클래스에 대해 다양한 탐지 임계값에서 Precision-Recall 곡선의 면적을 구한 값입니다.
정확도와 재현율의 종합 성능을 평가합니다.

면적이 클수록 해당 클래스에 대한 탐지 성능이 좋음
예: 고양이 클래스의 AP = 0.87 → 고양이 탐지에 매우 정확
이 그래프를 클래스별로 비교하면 어떤 클래스 탐지가 더 어려운지도 시각적으로 판단 가능

AP 계산할 때 사용되는 대표적인 두 가지 방식

방식	설명	AP계산방법
VOC	초기 객체 탐지 대회에서 사용됨	11 포인트 방식 – Recall을 0.0~1.0까지 0.1 간격으로 11개 구간에서 Precision을 평균
COCO	최근 대회 및 모델 평가에서 주로 사용	다양한 IoU 기준 (0.5~0.95)과 세밀한 간격의 interpolation 사용 → 훨씬 더 정밀하고 엄격한 평가 방식

6. mAP(mean Average Precision)

mAP는 모든 클래스의 AP 값을 평균한 지표로, 모델의 전반적인 탐지 성능을 보여줍니다.

지표	의미
AP (Average Precision)	하나의 클래스(예: 고양이)에 대해 PR 곡선의 면적을 계산
mAP (mean Average Precision)	여러 클래스에 대한 AP를 평균 → 전체 모델의 종합적인 탐지 성능 측정

일부 클래스에서만 성능이 높고, 다른 클래스는 잘 못 잡는다면 전체 mAP가 낮게 나옵니다.

→ 이는 데이터 불균형이나 모델 설계 문제를 발견하는 단서가 됩니다.

COCO 대회, PASCAL VOC, Kaggle 등 대부분의 객체 탐지 대회에서 mAP@IoU=0.5, mAP@[.5:.95] 등의 방식으로 모델을 비교합니다.

7. FPS(Frames Per Second)

FPS는 1초 동안 몇 개의 이미지를 처리할 수 있는지를 나타내는 지표입니다.
모델의 실시간성을 판단합니다.

◆ 해석 예시

FPS = 30 → 1초에 30장의 이미지 처리 가능
FPS = 5 → 실시간 응답 어렵고 지연 발생 가능

◆ 적용 사례

자율주행, CCTV, 드론 실시간 탐지 등에서 매우 중요
YOLO 같은 경량화된 모델은 높은 FPS 제공 (30~60 FPS)

◆ 주의사항

FPS는 GPU 성능, 해상도, 배치 처리 등 환경에 따라 달라짐

'2.인공지능 > 개념&이론' 카테고리의 다른 글

5. 딥러닝 모델 양자화(Quantization)란? : 경량화 (2)	2025.05.19
6. 회기 모델 성능 지표: MAE, MSE, RMSE, MAPE, MPE, R² (0)	2025.04.23
5. 분류 모델 성능 지표: Confusion Matrix (0)	2025.04.23
3. 이미지 분석 기술: Classification, Object Detection, Segmentation (0)	2025.04.22
2. 전이 학습(Transfer Learning):Fine-tuning (0)	2025.04.16

현재글7. 객체 탐지 모델 성능 지표:IoU,Precision,Recall,AP,mAP,FPS