미리보기

프로젝트 목표

• AI 기반 실시간 재고 관리 시스템을 구축하여 매장의 재고 부족·과잉 문제 및 트렌드·리콜 상품 대응 문제를 해결

• 판매량 예측 모델, 자동 주문 로직, 트렌드·리콜 모니터링 워크플로우를 통합 제공하여 운영 효율 및 정확도 향상

• 실시간 대시보드를 통해 빠르고 직관적인 의사결정 지원

주요 역할

• 시계열 예측 모델 개발 및 자동 주문 로직

  • LSTM 기반 판매량 예측 모델(Stacked LSTM)로 적정 재고량 계산. PSFA 기준 0.55의 성능, 데이터 출처인 데이콘 대회의 상위 5% 성능

  • 예측 결과에 따라 자동 주문 에이전트(ReAct + Reflexion)로 부족 재고 상품 주문

• 트렌드 분석 및 리콜 상품 모니터링

  • Naver Datalab·SafetyKorea 등 외부 데이터 크롤링 및 Upstage OCR API 활용

  • 주기적으로 트렌드 상품·리콜 상품을 DB에 반영하고, 문제 발생 시 알림/자동 차감

• 웹 대시보드 및 인벤토리 페이지 구현

  • FastAPI + React 조합으로 재고 현황, 판매 추이, 자동 주문 상황 등을 실시간 시각화

  • Webhook·WebSocket(SSE) 등을 통해 재고 변동을 즉시 반영

기술 스택

• AI/모델링: PyTorch, Stacked LSTM

• 데이터 파이프라인/자동화: n8n, Airflow

• 백엔드: FastAPI, PostgreSQL & Supabase

• 프론트엔드: React

• 협업 도구: GitHub, Jira, Notion

프로젝트 목표

• Yolo v8 모델을 이용해 사용자로 부터 House, Tree, Person에 대한 그림을 입력 받아 특징을 추출하여 사용자의 심리를 파악해 결과를 알려주는 웹 서비스 개발

주요 역할

• 데이터 전처리: 데이터 이상치를 제거하고 이미지 데이터를 분석해 그림에서 작다/크다, 많다/적다 기준을 정해 이미지 특징을 추출 가능하도록 처리

• 모델 선정 및 학습: 사용자에게 빠른 답변을 제공하기 위해 실시간 객체 탐지 모델인 Yolo 모델을 사용, Yolo v8n이 다른 사이즈의 모델과 비교했을 때 약 0.966(mAP50)의 성능을 보여 비슷한 수준이었지만 train, inference시 빠른 속도를 보여 Yolo v8n으로 모델을 선택

• 백엔드 환경 개발: FastAPI 프레임워크를 이용해 이미지를 입력 받으면 특징 추출 후 심리 상담 결과를 반환하는 워크플로우를 구현

기술 스택

• AI/모델링

  • Framework: PyTorch, Ultralytics

  • 모델:

    • Object Detection: YOLO v8 (v8x, v8s, v8n)

    • 자연어 처리: GPT-3.5-turbo

  • 데이터 시각화: Streamlit

  • 실험 관리: Weights & Biases(WandB)

• 백엔드

  • Framework: FastAPI

  • DB: SQLite

  • Cloud: GCP

• 프론트엔드

  • 기술 스택: React

• 협업 및 환경

  • GitHub, Slack, Notion

• 컨테이너 & 배포

  • Docker를 활용하여 클라우드(GCP)에 배포

프로젝트 목표

• Hand-bone X-Ray 데이터 셋을 기반으로 의료 진단을 위한 Sementic Segmentation 모델을 개발

주요 역할

• SMP 라이브러리를 사용해 UNet 모델을 커스터 마이징, Backbone 구조 변경을 통해 baseline 대비 0.04% 성능 개선

• Elastic, CLAHE, Rotate 등의 많은 데이터 증강 기법을 실험, 성능이 개선된 데이터 증강 기법의 조합 실험을 진행해 최종 0.012% 성능 개선

• 데이터 증강 실험 및 모델 성능 확인을 위해 Streamlit을 이용해 시각화 작업 진행

• BCE loss, dice loss, focal loss 등의 다양한 loss 함수를 실험, 성능이 개선된 loss 함수들의 조합 실험을 진행해 최종 0.011% 성능 개선

• Hard Voting 앙상블 실험을 진행해 단일 모델 최고 성능 대비 0.002% 성능 개선

기술 스택

• AI/모델링

  • Framework: PyTorch, SMP(Segmentation Models PyTorch)

  • Segmentation 모델

    • U-Net 계열: UNet, UNet++, UNet3+, DuckNet, swinUNETR

    • YOLO 계열: YOLOv8x-seg, YOLOv11x-seg

    • DeepLab 계열: DeepLabV3, DeepLabV3+

  • Backbone(Encoder)

    • ResNet, ResNeXt, ResNeSt

    • EfficientNet(B4~B7, timm-b7, V2-L)

    • ViT 계열(MiT, MaxViT)

    • HRNet, Swin-T, DUCK-Net

• 실험/분석

  • 실험 관리: Weights & Biases(WandB)

  • 데이터 시각화: Streamlit, WandB

• 협업 도구

  • GitHub, Slack, Notion, Overleaf

프로젝트 목표

• 다국어 영수증 형태의 OCR Bbox Detection을 위한 데이터 중심 접근 방식의 모델 개발

주요 역할

• 데이터 증강 실험 및 모델 성능 확인을 위해 Streamlit을 이용해 시각화 작업 진행

• Public 영수증 데이터를 탐색 및 데이터 라벨링 가이드라인을 설정 후 CVAT를 이용해 오프라인 데이터 증강, 데이터 양 200% 증가, baseline 대비 0.1% 성능 개선

• CORD 데이터 셋을 이용해 Pre-train을 진행한 후 다시 Fine-tuning을 진행 baseline 대비 0.21% 성능 개선

• WBF 앙상블 기법을 이용해 단일 모델 최고 성능 대비 0.1% 성능 개선

기술 스택

• AI/모델링

  • Framework: PyTorch

  • Model: EAST (OCR 모델 고정), VGG-16 (백본 고정)

• 데이터 라벨링/증강

  • CVAT

  • Albumentation

• 실험/분석

  • 실험 관리: Weights & Biases(WandB)

  • 데이터 시각화: Streamlit

• 협업 도구

  • GitHub, Slack, Notion

프로젝트 목표

• 플라스틱, 종이, 유리 등 10종류의 쓰레기를 탐지하는 Object Detection 모델 개발

주요 역할

• MMDetection 라이브러리를 이용해 Yolo, Atss, Cascade R-CNN등의 모델을 실험 및 백본 변경 실험을 진행, baseline 대비 0.08% 성능 개선

• Ultralytics 라이브러리를 이용해 Yolo v8, RTDETR 등의 모델을 학습하여 baseline 대비 0.25% 성능 개선

• StratifiedGroupKFold를 코드로 구현해 모델 학습 후 Fold들을 이용해 앙상블을 진행할 수 있도록 함

• WBF 앙상블 기법을 이용해 단일 모델 최고 성능 대비 0.07% 성능 개선

기술 스택

• AI/모델링

  • Framework: PyTorch, MMDetection, Detectron2, Ultralytics

  • Backbones: Co-DINO, RT-DETR, Faster R-CNN, Cascade R-CNN, YOLOv11 등

• 실험/분석

  • 실험 관리: Weights & Biases(WandB)

  • 데이터 시각화: Streamlit

• 협업 도구

  • GitHub, Notion, Slack

프로젝트 목표

• ImageNet-Sketch 데이터셋를 분류하는 Image classification 모델 개발

주요 역할

• CNN계열, ViT계열, Hybrid계열 모델인 ResNet, EfficientNet, ViT, Eva, DeiT, CoatNet, ConViT 등의 모델 실험을 통해 0.29% 성능 개선

• Text-to-Image 모델인 sdxl-turbo 모델을 사용하여 오프라인 데이터 증강 시도

• 정확도가 낮은 Case에 대한 threshold 값을 조정하여 0.02% 성능 개선

• Hard Voting 앙상블 기법을 적용하여 단일 모델 대비 0.38% 성능 개선

기술 스택

• AI/모델링

  • Framework: PyTorch

  • Backbones:

    • CNN 계열: ResNet101, EfficientNetV2

    • ViT 계열: DeiT, Swin Transformer, ViT

    • Hybrid 계열: CoAtNet, ConvNeXt

• 실험/분석

  • 실험 관리: Notion, Weights & Biases(WandB)

  • 데이터 시각화: Streamlit

• 협업 도구

  • GitHub, Slack, Notion

프로젝트 목표

• 하계 현장실습 기간동안 Connected-in에서 진행한 Image Detection을 이용한 음식 칼로리 계산 모델 개발

주요 역할

• 이미지 데이터에서 Bbox labeling을 진행하여 학습, 검증, 추론 데이터 생성

• Yolo v8 Object Detection 모델을 학습하여 mAP 기준 0.93 성능 기록

• FastAPI로 백엔드 환경 개발을 통해 전체적인 서비스 개발 워크플로우 경험

기술 스택

• AI/모델링

  • Framework: Ultralytics

  • Backbones: Yolo v8, Yolo v5

• 실험/분석

  • 실험 관리: Weights & Biases(WandB)

  • 데이터 시각화: Streamlit

• 웹 개발 도구

  • FastAPI

프로젝트 목표

• CCTV나 동영상 내에서 개인을 특정 지을 수 있는 개인정보를 비식별화하는 모델 개발

주요 역할

• 동영상 내 사람을 Detection하고 이후 사람의 신체 부위 별로 모자이크 처리가 가능하도록 개발

• Detection 과정에서 실시간 감지가 필요하기 때문에 Yolo 모델을 사용, Custom dataset으로 fine-tuning한 결과 보다 pre-training된 모델의 사람 감지 성능이 더 높아 pre-training된 모델을 사용

• 신체 부위별로 모자이크 처리를 위해서 Human Parsing 모델을 Github으로부터 불러와 Yolo v8 모델의 output과 Human Parsing 모델의 input을 연결해 하나의 파이프라인으로 연결

• Streamlit을 이용해 웹을 통해서 사용자가 프로젝트의 기능을 사용할 수 있도록 개발

기술 스택

• AI/모델링

  • Model: YOLO(사람 객체 검출), Self-Correction-Human-Parsing (인체부위 세분화)

• 실험/분석

  • 실험 관리: Weights & Biases (WandB)

  • 데이터 시각화: Streamlit

• 협업/환경

  • 문서화: Notion

특징

• 동영상 기반 인물검출(YOLO) → Human Parsing → 모자이크 처리

• 웹서비스로 Streamlit 구현

프로젝트 목표

• 포디블럭 이미지가 어떤 영어 스펠링을 뜻하는지 분류하는 Image Classification 모델 개발

주요 역할

• Train 데이터 셋과 Test 데이터 셋을 유사한 분포로 만들기 위해 데이터 증강 기법 적용

• EfficientNet, ResNet, SENet, convnext등의 이미지 분류 모델을 Fine-tuning하여 baseline 대비 0.3% 성능 개선

• TTA를 통해 성능 개선 시도

기술 스택

• AI/모델링

  • Framework: PyTorch

  • 모델: EfficientNet, Swin Transformer, ConvNeXt (다양한 백본 실험 후 최적 모델 선정)

  • 개발 환경: Colab

• 실험/분석

  • 데이터 시각화: Matplotlib, Seaborn

• 협업 도구

  • 이슈/버전 관리: Notion

• 딥 러닝의 기초 이론에 대해 배우고, 대회 형식의 프로젝트를 통해 검증

• Computer Vision 트랙을 선택하여 실전 역량을 높였음

• 해당 트랙에서 현실 데이터로부터 문제를 정의하고 AI 모델을 설계하여 서비스화하는 문제 해결 과정을 경험

• Coursera 강의 사이트를 이용해 Andrew Ng 교수님의 Deep Learning Specialization 강의를 통해 딥 러닝 기초에 대해 배울 수 있었음

• Kaggle Competition을 통해 머신러닝 프로젝트 실습

• Gemma 2B 모델은 LoRA 기법을 이용해 Fine-tuning 실습

• 실제 회사에서 AI 모델을 개발하는 방법, 개발 후 어떠한 방법으로 서비스화 하는지 전체적인 워크플로우를 알 수 있게 되었음

• 대학교 동기들과 함께 각자의 목표를 위해 코딩 테스트 스터디를 진행

• 매일 1문제씩 문제 해결 인증을 하고 1주일에 한 번 씩 모두 모여 자체적인 코딩 테스트 진행

• 각자의 문제 풀이 방식을 공유하며 문제 접근 방법에 대한 시야를 넓게 가지고 알고리즘 지식을 향상 시킴

• Computer Vision 연구실 학부연구생 경험

• CV 모델에 대한 논문을 많이 읽어보고 From-Scratch로 구현하면 이해하는 공부 진행

• 기업 연계인 동영상 내 개인정보 비식별화 프로젝트를 진행