Journal of the Institute of Electronics and Information Engineers
Enhancing Low-bit Quantization of Vision Models via Rotation Transformation
Jaewoo Park, Yunjeong Yong, Jihae Lee
Abstract
최신 비전 모델들은 활성화 이상치로 인해 저비트 양자화 시 성능 저하가 크게 발생한다. 이를 완화하기 위해 본 논문에서는 LLM에서 검증된 직교 행렬 기반 회전 변환을 RF-DETR, RT-DETR, YOLOv12에 적용하였다. 실험 결과 회전 변환은 레이어별 첨도를 낮춰 긴 꼬리 분포와 극단적 이상치의 영향을 효과적으로 완화하였고, 저비트 설정에서 탐지 성능 저하를 유의미하게 줄였다. 특히 RF-DETR은 W4A8에서 Baseline에 근접한 성능을 회복하였으며, RT-DETR은 QRT-DETR 대비 추가적인 성능 향상을 통해 저비트 환경에서의 민감도를 낮추었다. YOLOv12 또한 저비트 설정에서 일관된 성능 개선을 보여 양자화 오류 완화에 기여함을 확인하였다.더불어 회전 변환 적용 후에도 추론 시간은 baseline(43.75ms)과 유사한 수준(41.31ms)으로 유지되어, 제안 기법이 추가적인 런타임 오버헤드를 유의미하게 증가시키지 않음을 시사한다.