미리보기

비디오 이상 탐지 모델 탐색, 학습 전략 수립

• Optical Flow를 계산하는 I3D, 실시간성 확보를 위한 Video MAE v2 모델 탐색

• Classifier Layer를 추가해 베이스 모델 기준 정확도 6.56% 증가 (78.1 -> 83.3)

API, 서비스 기능 구현

• FastAPI 기반 백엔드, 서비스 기능 구현

기술 스택

• Python, PyTorch, OpenCV

• AWS, MySQL, FastAPI, BootStrap

• WandB, Git, Notion

데이터 분석

• 비슷한 형태의 겹쳐있는 뼈의 Multi-label segmentation 문제

• 데이터 특성(촬영 거리, 방향)을 반영한 Augmentation 전략 수립

• 모델 예측 시각화로 모델의 학습, 추론 수치 조절

모델 성능 실험

• 의료 목적의 UNet 계열 모델과 전반적인 context를 잘 파악하는 DeepLab v3 모델 조사

• 다양한 Loss(Dice, BCE, Focal)의 결합을 통해 높은 성능을 보인 Focal + DICE Loss 선정

• 데이터 특성을 이용해 Average Gray Scale 변환, Multi Scale Training, Down Conv 기법을 사용해 성능 향상
  Average Gray Scale : 0.868 -> 0.893, 학습 시간 감소(약 2.3% 단축)
  Multi Scale Training : 0.942 -> 0.948
  Down Conv 추가 : 0.929 -> 0.972, Batch size 증가 -> 안정적인 학습 + 일반화 성능 향상

• AMP(Automatic Mixed Precision)을 활용한 학습 시간 단축

기술 스택

• PyTorch, MMSegmentation

• WandB, Git, Notion

데이터 분석

• Matplotlib, Annotation Tool을 활용한 데이터 시각화, 오라벨링, 클래스 불균형 확인

• 팀 자체 라벨링 기준을 수립해 일관성 있는 데이터 셋 구축
  Baseline 기준 mAP 0.447 -> 0.475 향상

모델 성능 실험

• COCO format 데이터 셋에 좋은 성능을 보이는 모델 조사

• 클래스 별 비율을 반영한 검증 데이터 셋을 구축해 모델의 일반화 성능 파악

• 대회 평가 metric 허점을 통해 정성 평가보다 정량 평가에 적합하도록 모델 설계

• Grad CAM 기능을 구현으로 설계 모델의 예측 근거, 취약 클래스를 파악하고 모델을 재설계

• Augmentation 실험을 통해 이미지의 크기와 질감 변화에 대한 성능 향상 파악

기술 스택

• PyTorch, Detectron2, MMDetection

• WandB, Git, Notion

교육생 수료

교육 내용

• AI 이론 학습 및 팀 기반 활동 수행

• 대회형 프로젝트를 통해 단기간 모델 최적화 훈련 지속

CV 도메인 프로젝트 진행

• 마스크 착용 여부, 성별, 나이 분류

• 재활용 쓰레기 분리 배출을 위한 Multi-label Object Detection

• 손 X-Ray 이미지 Multi-label Segmentation

• 무인 매장 이상 탐지 CCTV