[논문 리뷰] DETRs Beat YOLOs on Real-time Object Detection

📃 논문

🔮 GitHub

GitHub - lyuwenyu/RT-DETR: [CVPR 2024] Official RT-DETR (RTDETR paddle pytorch), Real-Time DEtection TRansformer, DETRs Beat YOL

 

---

개요

• YOLO 시리즈는 빠른 속도와 적절한 정확도 간의 균형 덕분에 실시간 객체 탐지에서 가장 널리 사용되는 프레임워크였다. 그러나 NMS(Non-Maximum Suppression) 과정이 YOLO 모델의 성능을 저하시키는 요인 중 하나.
  • NMS(Non-Maximum Suppression)
    • NMS는 객체 탐지 후 예측된 여러 박스들 중에서 중복된 박스를 제거하는 과정
    • 과정에서 모든 예측 박스들 사이의 IoU(Intersection over Union)를 계산해야 하므로 시간이 많이 걸림
• 최근에 등장한 DETR 기반 모델은 NMS를 사용하지 않으므로 이 문제를 해결할 수 있지만, 높은 계산 비용으로 인해 실시간 탐지에서는 잘 활용되지 않았다.
• 이 논문에서는 DETR을 실시간 객체 탐지에 맞게 최적화한 RT-DETR 모델을 제안
• RT-DETR은 Hybrid Encoder와 Uncertainty-minimal Query Selection 메커니즘을 사용하여 속도와 정확도를 모두 향상시킵니다.
• 이 모델은 COCO 데이터셋에서 이전 YOLO 모델들을 성능 면에서 능가하며, 특히 RT-DETR-R50 모델은 YOLOv5, YOLOv6, YOLOv7 등을 정확도와 속도에서 모두 앞서고 있습니다.

 Architecture

 

 

• 하이브리드 인코더: RT-DETR의 하이브리드 인코더는 여러 스케일에서 추출된 특징을 효율적으로 처리하여 속도를 높입니다.
• 불확실성 최소 쿼리 선택: 객체 쿼리의 초기화 시 불확실성을 최소화하여 모델의 정확도를 높이는 방법을 제안했습니다.
• 유연한 속도 조정: RT-DETR은 디코더 레이어의 개수를 조정하여 다양한 실시간 시나리오에 적응할 수 있으며, 재훈련 없이 속도를 조정할 수 있습니다.

 

실험 및 결과

 

• RT-DETR-R50 모델은 COCO 데이터셋에서 53.1% AP(정확도)를 기록하고 108 FPS의 속도를 보여, 속도와 정확도에서 기존 YOLO 모델을 능가합니다.
• 또한, RT-DETR-R101 모델은 54.3% AP와 74 FPS를 기록하며, 속도와 성능에서 최상의 성능을 달성했습니다.
• RT-DETR은 실시간 객체 탐지에서 DETR의 장점을 잘 살린 최초의 실시간 엔드투엔드 객체 탐지 모델로, 기존 YOLO 모델보다 더 우수한 성능을 보여줍니다.
• 실시간 객체 탐지에 대한 새로운 가능성을 제시하며, 추후 더 나은 성능을 위한 연구 방향을 제시하고 있습니다.

 

👉 RT-DETR 환경 구축하기