미리보기

데이터 사이언티스트, ML Application 개발자

• 이미지-텍스트 멀티모달 오픈소스 모델 (CLIP, OpenFlamingo 등)을 활용하여 모델 fine tuning 및 자체 서비스 모듈 개발

  • clip embedding 결과를 활용해 태그 없는 이미지 검색 모듈 개발 등

• 리포트, 분석 대시보드 기획 및 개발

  • 아동 미술 비정형 데이터(과정 데이터, 그림 원본) features extraction

  • 특징 결과 내용을 반영한 리포트 기획 및 내용 공유를 위한 대시보드 기획

• AI 기술을 활용해 미술 심리 진단 검사를 자동화하는 서비스 기획-개발

  • 객체 탐지 모델 (bounding box) fine tuning

  • ML 기반 color quantization 모듈을 활용한 만다라 그림 진단 검사 개발 총참여

1. 진행 내용

   • 온프라미스 서버를 이용한 ML 데모 웹 서비스 환경 구축

     • 서버 4대(ESXi 서버 3대와 vCenter 서버 1대)를 이용해 FE Server/ BE Server/ DB Server 3 Tier 환경 구축

   • 역할

     • 프로젝트 기획 및 문서화 (시스템 구성도, 발표용 PPT 작성 등)

     • 동일 환경을 위한 VM 탬플릿 작성

     • FE / BE 소스코드 전체 작성

     • BE Load balancer를 위한 서버 설정 (HAproxy 이용)

     • NFS 설정 (BE 서버와 폴더 마운트)

2. 기술

   • 가상화 도구 : VMwear vsphere (ESXi, vCenter Server)

   • 소스코드 작성 : Python Streamlit, FastAPI

   • 서버 구현 : HAproxy, NFS

   • DB : PostgreSQL

3. 트러블슈팅

   • 문제 : FE - BE 서버간 API 통신 불가

   • 해결 : 물리적 이더넷 카드로 연결된 기기간 네트워크 통신이 필요한 상황. 방화벽을 이용한 NAT port forwarding을 통해 문제 해결

1. 진행 내용

   • 미술심리연구소와 협업하여 그림 기반 심리 진단검사(투사검사)를 자동화하는 서비스 기획 & 개발

   • 역할 (기여도 90%)

     • 진단 검사 항목을 수치화 하기 위한 데이터 변환

     • 색상 양자화(Color quantization) 기술을 활용해 색상을 특징 값으로 변환

     • 특징 추출 (Feature extraction) 후 분석.

       인구통계적 변수에 따른 경향성 확인 등의 연구

     • 기존 연구 색채 이론과 접목하여 해석 지표와 연결해 분석 보고서를 작성하는 전체 서비스 파이프라인 기획 & 개발

2. 성과

   • 특허

     • 그림 데이터로부터 특정 사용자의 정서를 분석하는 시스템 외 5건 | 2024. 06. 04

     • 색채정서모델을 개발하기 위한 방법 | 2024. 04. 02

     • 인공지능을 기반으로 그림 색채를 분석하고, 사용자를 분석하는 시스템 외 3건 | 2023. 04. 10

     • 그림 색채 분석 방법 및 시스템 | 2023. 02. 16

   • 실서비스 런칭 : 아트봉봉 만다라 그림진단 검사 (기사1, 기사2, 기사3)

3. 기술

   • 운영 환경:

     • On-premise: Ubuntu server

     • Cloud: Kakao Cloud, AWS EC2

   • 데이터 처리 및 분석:

     • pandas: 데이터 구조화 및 분석

     • numpy: 수치 연산 및 다차원 배열 처리

     • scipy: 과학 계산 및 고급 수학 함수

     • scikit-learn: 머신러닝 알고리즘 및 데이터 전처리

   • AWS 서비스 연동:

     • boto3: AWS 서비스 (SQS 등) 와의 상호작용

   • 시스템 운영:

     • logging: 애플리케이션 로깅 관리

     • multiprocessing: 병렬 처리 및 성능 최적화

1. 진행 내용

   • 그림진단 검사를 위한 Bounding-Box(BBOX) 모델링 수행

   • 역할 (기여도 70%)

     • BBOX 모델 훈련 및 성능 평가 수행

     • 데이터 라벨링 가이드라인 작성

     • 라벨링 결과 및 인력 관리 시스템 구축

2. 성과

   • 그림진단 검사에 적합한 BBOX 모델 개발

   • 효과적인 데이터 라벨링 프로세스 구축

   • 모델 성능 향상을 통한 그림 객체 검출 정확도 개선

3. 기술

   • 객체 검출 모델: Faster R-CNN (Detectron2 패키지 이용)

   • 성능 평가 지표: Precision, Recall, mAP (mean Average Precision)

   • 데이터 처리: OpenCV, Pillow

   • 딥러닝 프레임워크: PyTorch

4. 트러블슈팅

   • 문제: 그림진단 검사의 특성상 다양한 스타일의 손그림 객체 검출 어려움

   • 해결: 객체 범위를 일반화 하기 위해 라벨링 규정 구체화. 데이터 증강 기법 적용 및 추가 전이학습을 통한 모델 일반화 능력 향상

1. 진행 내용

   • 이미지와 텍스트의 의미적 유사도를 활용한 검색 시스템 개발

     • CLIP 멀티모달 모델을 이용하여 이미지와 텍스트 간 유사도 매칭 구현

     • 사내 그림뷰어에 검색 API 적용하여 라벨/태그 없는 이미지 데이터 검색 기능 구현

   • 역할 (기여도 100%)

     • FastAPI를 이용한 멀티모달 검색 API 개발

     • 그림뷰어와 검색 API 통합

2. 성과

   • 라벨/태그 없는 이미지 데이터에 대한 효과적인 검색 기능 구현

   • 사내 그림뷰어의 기능 향상 및 사용자 경험 개선

   • 텍스트와 이미지 간 의미적 연관성을 활용한 고급 검색 시스템 개발

3. 기술

   • 멀티모달 모델: CLIP (Contrastive Language-Image Pre-training)

   • 백엔드 프레임워크: Python FastAPI

   • 이미지 처리: Pillow 라이브러리

   • API 통신: JSON 형식의 데이터 전송

1. 진행 내용

   • 대규모 공개 미술 작품 이미지와 메타데이터 수집 및 정제

   • 역할 (기여도 100%)

     • 웹 크롤링 코드 작성 및 실행

     • 이미지 전처리 작업 수행

     • 온프라미스 환경 구축 및 관리

2. 성과

   • 2만 6천여 장의 이미지와 작품 정보, 장르, 화풍 등의 메타데이터셋 구축 완료

   • 자체 웹 크롤링 코드 작성

   • 이미지 전처리 파이프라인 구축

3. 기술

   • 웹 크롤링: Python BeautifulSoup 라이브러리

   • 이미지 처리: OpenCV, Pillow 라이브러리

   • 개발 환경: Ubuntu 20.04 (온프라미스)

4. 트러블슈팅

   • 문제: 대용량 이미지 처리 시 메모리 부족 현상 발생

   • 해결: 이미지 처리 작업을 배치 프로세싱으로 변경하고, 메모리 효율적인 알고리즘 적용으로 문제 해결