AI-HUB에는 약 173만 장의 데이터가 있습니다. 이를 전부 학습하기에는 서버 컴퓨터의 SSD 용량이 부족하여

Label 을 Black Smoke, Gray Smoke, White Smoke, Fire, Cloud 5개 데이터만 학습하기로 결정하였습니다.

또한 목적이 산불 Object Detection 이기 때문에 데이터를 구성한 환경을 야산, 들판 등으로 한정하여 분류하였습니다.

결과, 390,343 장의 학습 데이터와 9,834 장의 검증 데이터로 구분할 수 있었습니다.

AI-hub에 등록되어 있는 Labeling 파일은 JSON 파일입니다. 또한, Bounding Box 영역은 xmin, ymin, xmax, ymax 또는 polygon 형식으로 되어있습니다.

이를 YOLO Bounding Box 로 수정하고 polygon 형식은 사용하지 않아 다른 폴더로 이동하였습니다.


학습 도중 GPU util이 100% → 0% 로 뛰는 현상

학습 도중 GPU util이 100% → 0% 로 뛰는 현상이 계속 일어났습니다. 이러한 현상 때문에 학습 시간이 매우 길어지게 되어 꼭 해결해야만 했습니다.

GPU Util 99% 달성하기

위 블로그를 참고하여 CPU worker 수와 CPU check(아래 설명) 등 진행해 보았지만 나아지지 않던 도중

Image Size를 정사각형으로 resize 하여 학습 시키는 방법(—rect)에서 이미지 크기에 맞게 직사각형으로 설정하고 학습 시켜 해결하였습니다.