🔳

IoU(Intersection of Union), NMS(Non-Maximum Suppression)

Date

2020/08/31

IoU(Intersection of Union)

설명 끝!

IoU는 두 개의 Bounding Box에서 정의되는 개념으로, 아주 간단하다. 두 박스의 교집합을 두 박스의 합집합으로 나눈 값이다. 즉, 합집합 분의 교집합이다.

IoU가 0이라는 것은 교집합이 없다는 것이고, 1이라는 것은 두 박스가 완전히 일치한다는 것이다. 즉, 두 박스가 얼마나 많이 겹치는가를 0~1 사이의 값으로 나타낸 것이다.

이를 모델 평가에 사용하면, 모델이 예측한 Bbox(Predicted Bbox)와, 사람이 측정한 실측 Bbox(Ground Truth Bbox, 정답)이 얼마나 정확하게 겹치는가를 나타내는 지표로 사용할 수 있는 것이다.

그리고, Detection Task에서 개별 Object의 Detection 예측 성공 여부는 보통 IoU 값이 결정하는 경우가 많다. 예를 들어, PASCAL VOC 같은 경우

IOU\ge 0.5

이면 예측 성공으로 보고, COCO 같은 경우 IOU 기준을 점점 높여가면서 진행한다.

NMS(Non-Maximum Suppression)

NMS는 일종의 알고리즘이다. 무슨 알고리즘인지 설명하기 전에 목적을 먼저 설명하자면, NMS를 수행하는 이유는 동일한 물체를 가리키는 여러 박스의 중복을 제거하기 위함이다. (많은 Object Detection 기법들은 Object가 있을 만한 위치에 많은 박스를 치는 경향이 강하다.) NMS는 Detect된 Object의 Bounding Box 중에 비슷한 위치에 있는 box를 제거하고, 가장 적합한(잘 들어맞는) 박스를 선택하는 알고리즘이다.

NMS를 수행하기 전. 하나의 물체에 여러 박스가 존재한다.

NMS를 수행한 결과. 하나의 물체에 이를 가장 잘 나타내는 박스만 남는다.

과정은 매우 간단하다. 특정 클래스나 특정 박스들에 대해서 수행하는 작업이 아니라, 하나의 Detection 장면에서 모든 Bounding Box에 대해 수행하는 작업임에 유의하자.

우선, 특정 Confidence threshold 이하의 Bounding Box는 제거한다. 

Remind: 각 Bounding Box는 각각 이 추측이 얼마만큼의 확신을 가지는지에 대한 Confidence score를 가지고 있다.

•

모든 박스를 보며, Confidence가 일정 수준 이하인 박스들에 대해 일차적으로 필터링을 거치는 것이다. 

남은 Bounding Box들을 Confidence score 기준 모두 내림차순 정렬한다.

맨 앞에서부터 박스 하나를 잡고, 쭉 보면서 이 박스와 IoU가 특정 threshold 이상인 박스들은 모두 제거한다.

•

쉽게 떠올리면 O(N2)O(N^2)O(N2) 알고리즘이다. 2중 for문!

•

IoU가 일정 수준 이상이라면, 두 박스는 서로 같은 물체를 가리키는 것이라고 판단하여 상대적으로 Confidence가 낮은 박스를 제거하는 것이다.

과정 중 Confidence threshold와 IoU threshold 두 값이 등장했는데, Confidense threshold가 높을수록, IoU threshold가 낮을수록 더 많은 박스가 제거된다. 왜인지는 생각해보면 안다!

다른 예제로 한번 더 보자. 위의 그림에서 하얀색/빨간색 박스들이 Detect되었고, 여기서 NMS를 수행한다고 해 보자.

Confidence threshold 이하인 Bbox들을 모두 제거한다. 가령 threshold가 0.4라고 하면, Confidence가 0.4 이하인 박스들은 모두 제거된다. 그림에서는 제거되었다고 치자.

박스들을 Confidence 기준 내림차순 정렬한다. 순서대로 [0.9 박스, 0.8 박스, 0.7 박스, 0.65 박스, 0.6 박스(왼쪽), 0.6 박스(오른쪽)] 이렇게 될 것이다.

앞에서부터 N2N^2N2 알고리즘처럼 뒤의 박스들을 쭉 살펴보면서, 두 박스의 IoU를 계산해서 threshold 이상이면 해당 박스를 제거한다. 

•

0.9 박스를 먼저 잡고, 뒤의 박스들을 보자.

◦

0.8 박스와는 겹치지 않는다. 

◦

보니까 0.7 박스와 IoU가 threshold 이상이다. 이 박스는 0.9 박스와 같은 것을 가리킨다고 간주하고, 제거한다.

◦

0.65 박스, 0.6 박스(왼쪽)과는 겹치지 않는다.

◦

0.6 박스(오른쪽)와 IoU가 또 threshold 이상이다. 마찬가지로 제거한다.

•

이제 0.8 박스를 보자.

◦

...

결과적으로 그림에서 하얀 박스가 NMS를 돌리고 남은 박스이고, 빨간 박스는 NMS 과정에서 제거된 박스이다. 동일한 물체를 가리키는 박스의 중복을 제거한 것이다.