미리보기

• POC 팀으로 합류하여 처음부터 AI Product 기획 및 리드

• Neo4j 기반 text to knowledge graph 파이프라인 구축 및 construction Knowledge graph 연구

• 데이터 전처리

• Langgraph 기반 AI agent 고도화

프로젝트 소개

"TGO와 함께 떠나는 나 그리고 동행자의 여행"
여행 계획 세우기의 번거로움을 해결하고, 데이터 기반 AI 기술을 활용해 스마트하고 빠르게 여행 계획을 수립할 수 있도록 돕는 프로젝트

• 목표: 사용자 맞춤형 여행 일정을 자동으로 생성하여 간편하고 만족스러운 여행 경험 제공

기여

• 프로젝트 설계 및 개발 주도: 여행 일정 수립을 위한 AGI 시스템 설계 및 구현

• 사용자 중심의 기능 개발: 맞춤형 여행 일정을 자동으로 생성할 수 있는 기능 제공

문제 정의

1. CX(사용자 경험) 향상 필요성

   • 지속적인 정보 State 관리의 필요

   • 여행 계획에 중요한 사용자 정보를 적절히 수집하고 이에 맞는 응답 제공

2. Agent 간 상호작용 조율 및 할루시에이션 문제

   • Multi-Agent 간의 상호작용 최적화 필요

   • 할루시에이션 발생으로 인해 일정의 정확성과 신뢰성 저하

3. 데이터 부족 문제

   • 여행 데이터의 부재로 인해 AI 모델 학습 데이터가 제한적

문제 해결 방안

1. 여행 계획 생성, 업데이트, 검색을 위한 멀티에이전트 기반 LLMOps 파이프라인 구축

   • Langgraph와 crewai로 워크플로우 구현

   • 안정적인 데이터 흐름 및 관리: Pydantic 구조를 사용해 단일 State를 안정적으로 관리.

2. 사용자 경험 강화

   • 동행자 정보를 추가 수집하고 이를 기반으로 맞춤형 여행 계획 생성.

   • Prompt Engineering을 활용해 친근한 AI 에이전트 구현.

3. 정확성 및 품질 개선

   • Self-Reflection을 통한 할루시에이션 감소.

   • Human-in-the-Loop 프로세스로 사용자 피드백 반영.

4. 여행 데이터 확보

   • Web Crawling으로 다양한 여행 데이터를 수집하고 이를 구조화.

결과

1. 사용자 중심의 여행 생성 파이프라인 완성

   • 사용자의 여행 요구사항 수집부터 여행 일정 생성 그리고 업데이트까지의 langgraph 구현.

   • 여행 일정 추천 및 업데이트 기능 구현

2. 안정적인 State 관리

   • Pydantic 구조 기반 State 관리로 데이터 흐름의 안정성 확보.

   • 유저 의도를 추출하고 JSON Patch를 적용하는 방식의 안정적인 여행 일정 업데이트

3. PAA 컨셉의 여행 에이전트 구현

   • 사용자의 성향에 맞춘 정교한 여행 스타일 분석 및 일정 생성.

4. CX(사용자 경험) 향상

   • 동행자 정보를 반영한 맞춤형 일정으로 높은 사용자 만족도 달성.

성과

• 제6회 DEVOCEAN Tech Day 데모 부스 시연

• SK Tech Summit 세션

• 제7회 DEVOCEAN Tech Day 발표:

  • 발표 제목: "에이전트 고도화 전략을 통한 새로운 여행, TGO"

  • 발표 영상 및 후기 포스팅

프로젝트 소개

"Virtual Try-On 기술 개발 연구 프로젝트"

의류 가상 피팅을 위한 Virtual Try-On 기술 개발 프로젝트로, 의류 데이터를 기반으로 사용자 맞춤형 가상 시착을 구현하는 것이 목표입니다. 특히, 자동화와 효율성을 통해 데이터 처리 과정의 시간을 단축하고, 높은 정확도로 사용자의 요구에 부합하는 경험을 제공하는 것에 중점을 두었습니다.

기여

• 프로젝트 참여 및 연구 계획서 제출

  • 약 70장의 PPT로 구성된 연구 계획서를 제출하여 1:20의 경쟁률을 뚫고 프로젝트에 합류.

• 데이터 수집 및 처리 자동화

  • 자동화된 쇼핑몰 크롤링 알고리즘을 설계하여 7,000개 이상의 구조화된 데이터를 빠르게 확보하였고, 이를 통해 시간 및 리소스 절감을 달성.

• CHAMP 모델 파인튜닝

  • I2V 모델의 세부적인 성능을 향상하기 위해 CHAMP 모델의 데이터 프로세싱 단계를 셸 스크립트를 통해 자동화하여 처리 속도를 대폭 향상.

문제 정의

1. 구조화된 의류 데이터 부족

   • 기존의 의류 이미지는 대부분 라벨링이 되어 있지 않아, 데이터를 수집해도 이를 사용하기 위해서는 많은 수작업이 필요.

2. 복잡한 데이터 처리 단계

   • Image to Video (I2V) 모델의 데이터 처리에는 총 6단계가 필요하며, 이 과정을 수동으로 처리할 경우 약 1시간 소요.

3. 일관성 유지의 어려움

   • 모델이 시간적 일관성(temporal consistency)을 유지하는 데 어려움이 있어, 특정 상황에서 결과 품질이 저하되는 문제가 발생.

     ---

문제 해결 방안

1. 자동화된 크롤링 알고리즘

   • 다양한 쇼핑몰에서 의류 데이터를 자동으로 수집하여 구조화함으로써 데이터 부족 문제를 해결하고, 효율적인 학습을 위한 양질의 데이터셋을 확보했습니다.

2. 데이터 처리 자동화

   • I2V 모델 CHAMP의 데이터 프로세싱을 자동화하는 셸 스크립트를 개발하여, 수동 처리로 인한 시간 낭비를 최소화하고 효율성을 크게 향상시켰습니다.

3. 로고 보존을 위한 세밀한 파인튜닝: 작은 영역에서도 로고와 같은 주요 디테일을 보존할 수 있도록 모델을 세밀하게 파인튜닝하여 높은 품질의 결과를 유지.

결과

• 데이터 수집 효율성 향상: 7,000개 이상의 데이터를 자동으로 구조화하여 수집하고, 데이터 준비 과정에서 시간을 크게 절감.

• 처리 시간 단축: 자동화된 프로세스 -> 데이터 처리에 걸리는 시간 90% 이상 감소.

• 연구 성과 발표 및 자료:

• Virtual Try-On 기술 개발 - 연구계획(1),

• Virtual Try-On 기술 개발 - 연구개발(2)

프로젝트 소개

"모두가 잘 먹고 잘 살 수 있는 지역 음식 펀딩 플랫폼"

소상공인의 홍보와 수요조사, 고객과의 소통을 지원하는 펀딩 플랫폼을 통해 로컬 식당(F&B)의 성장과 소비자의 선택지 확대를 촉진하고, 지역 경제 활성화를 목표로 하는 지역 상생 프로젝트

기여

프로젝트 기획자로서 기획 전반을 리드하며 AI 해시태그 기능을 개발하여 소상공인 홍보 및 소비자 연결 강화에 기여

문제 정의

1. 소상공인의 데이터 활용 및 홍보 한계

   • 대기업에 비해 데이터 기반 의사결정 및 홍보에 어려움을 겪으며, 새로운 시도를 하기에는 리스크가 큰 구조.

2. 성장 기회 제한

   • 이러한 한계가 소상공인의 성장 가능성을 저해.

3. 소비자와의 연결 부족

   • 판매자와 소비자가 만나는 접점이 부족하여 직접적인 소통 기회가 적음.

4. 디지털 격차 문제

   • 소상공인이 디지털 기술을 활용하는 데 어려움이 존재.

문제 해결 방안

1. 가까운 거리 기반 음식점 페이지

   • 판매자와 소비자 간의 연결 지점 확보로 접근성 강화.

2. 신메뉴 펀딩 페이지 기획

   • 무지출 펀딩을 통해 소상공인이 신메뉴 구상 시 홍보와 수요조사를 동시에 가능하도록 지원.

3. AI 해시태그 생성 기능

   • GPT-4 Vision 기반 AI 해시태그 생성 기능을 구현하고 FastAPI를 통해 서빙하여 판매자의 홍보 시간과 비용 절감.

결과

• 프로젝트 데모: 참신함과 지역 상생 효과에 대해 긍정적인 평가를 받음.

• 판매자 해시태그 입력 시간: 90% 이상 단축하여 효율성 증대.

관련 자료

• Github 링크: https://github.com/9roomthon-sixpack

• 기사: https://blog.goorm.io/goorm_beotkkotthon/

프로젝트 소개

"서로에게 말 못 할 이야기와 잊기 쉬운 것들을 위한 케어 서비스"

Multi-agent 기반의 양방향 소통을 통해 AI가 맞춤형 케어를 제공하는 프로젝트로, SKT NUGU Speaker를 활용해 부모와 자녀 간 원활한 소통과 지원을 돕습니다

기여

프로젝트 기획을 주도하고, Multi-agent 시스템을 구축하여 FastAPI로 서비스화하여 운영하였습니다.

문제 정의

• 소통의 어려움

  • 자녀와 부모 간 서로에게 말하기 불편한 주제가 많아 의사소통이 원활하지 않음.

• 부재로 인한 케어의 어려움

  • 의사소통 부재로 부모님을 충분히 케어하기 어려운 상황 발생.

• 경제적·시간적 부담

  • 자녀가 부모를 전담하여 부양하고 케어할 여유가 부족함.

• 사용 편의성 부족

  • 고령층이 손쉽게 사용할 수 있는 애플리케이션의 부재.

문제 해결 방안

1. 초개인화 멀티 에이전트 대화 챗봇 개발

   • Autogen과 GPT Assistant를 활용하여 thread data 기반으로 자녀와 부모 각각의 이야기를 수집하고 필요에 맞는 상호작용을 수행하는 챗봇을 개발. 예를 들어, 부모의 위시리스트 관리, 건강 상태 파악, 자녀와의 유대감 증대 기능 제공.

2. NUGU Speaker 연동

   • SKT NUGU Speaker SDK를 연동하여 가정 내에서도 손쉽게 서비스를 이용할 수 있도록 설계.

3. STT 및 TTS 적용

   • 텍스트 입력 없이 음성으로 챗봇과 상호작용 가능.

4. 위시리스트 자동 등록

   • 부모가 필요한 물품을 위시리스트 페이지에 자동으로 등록

5. 공유 알람 기능

   • 자녀가 알람을 설정하면 부모가 해당 알림을 받아볼 수 있도록 공유 알람 기능 추가.

결과

• 프로젝트 발표 및 데모 부스 운영: 프로젝트의 유용성과 혁신성을 시연.

• KCCI 논문 출판: "A Design and Implementation of The Deep Learning-Based Senior Care Service Application Using AI Speaker" 논문 발표로 기술적 성과 공유.

관련 자료

• 논문: A Design and Implementation of The Deep Learning-Based Senior Care Service Application Using AI Speaker

• 프로젝트 발표 자료: https://drive.google.com/file/d/1-DorF8JcwG-cLbO54yUbwzz5X8VA_Vtv/view

프로젝트 소개

AI로 꿈의 틀을 만들어, 당신의 첫 '꿈틀'을 돕는 앱"

오타니의 만다라트 계획표를 활용하여 사용자의 꿈과 목표를 AI 기반으로 체계적으로 생성하고 관리하는 프로젝트입니다. 개인 정보와 목표를 반영해 메인 목표와 세부 목표를 세우고, 꿈을 이루기 위한 구체적인 계획을 돕는 애플리케이션입니다.

기여

프로젝트 팀장으로서 기획을 주도하며, 사용자 정보에 기반해 AI로 만다라트 계획표를 자동 생성하는 기능을 구현하였습니다.

문제 정의

1. 꿈 또는 버킷리스트를 사치로 여기는 사회

   • 꿈을 이루려는 시도가 자주 현실적으로 어려운 사치로 치부되는 상황.

2. 목표 설정의 어려움

   • 목표가 있어도 이를 이루기 위한 구체적 계획이 막연함.

3. 체계적 접근의 부담

   • 목표를 체계적으로 달성하기 위한 계획 수립이 어려움.

4. 시간과 노력의 부담

   • 계획을 세우는 데 많은 시간을 투자해야 하는 부담.

5. 계획의 딱딱함

   • 계획과 체크리스트가 딱딱하고, 압박감으로 작용하는 문제.

6. GPT-3.5-turbo의 한계

   • GPT-3.5-turbo가 표 생성 및 이해가 불가능하여 사용자 맞춤형 계획표 생성에 한계.

문제 해결 방안

1. AI 기반 만다라트 계획표 생성

   • 메인 목표와 세부 목표를 9x9 구조로 체계화하여 AI로 생성.

2. 사용자 맞춤 계획표

   • 사용자의 나이, 직업, 특이사항을 반영해 맞춤형 만다라트 계획표를 자동 생성하도록 구현.

3. JSON 스키마와 Function Calling 활용

   • JSON 스키마로 계획표를 구조화하고 Function Calling으로 안정적인 계획표 생성.

4. 친숙한 꿈틀 나무 UI 컨셉

   • 친숙한 꿈틀 나무 UI를 적용하여 목표를 하나씩 성취해가는 과정을 시각적으로 제공.

5. 목표 관리 페이지

   • 사용자 목표 관리 페이지를 통해 목표 진행 상황을 체계적으로 확인.

6. 체크리스트 기능

   • 목표 완료 여부를 체크리스트를 통해 직관적으로 관리 가능.

결과

• "당장 상용화 해도 좋겠다"는 평을 받음

• 중간 발표와 기말발표에서 긍정적인 피드백

• 최종 우수활동자 수상

• 관련 자료:

  • 포스팅 링크: 꿈틀 프로젝트 포스팅

  • 꿈틀 시연 영상: https://drive.google.com/file/d/1XDRvQX9UYGxK-r05JQUQ_gXwt1IACh3W/view?usp=sharing

프로젝트 소개

"TEXT2POKEMON: 포켓몬의 색상을 텍스트로 창조하는 AI 웹사이트"

Text-to-Image 모델인 Instruct Pix2Pix를 포켓몬 데이터셋에 맞게 fine-tuning하여, 텍스트 입력만으로 포켓몬 이미지의 부분을 지정한 색상으로 채색할 수 있는 웹사이트를 제작하는 프로젝트입니다. 이를 통해 사용자는 새로운 색상의 포켓몬을 손쉽게 만들 수 있습니다.

기여

• 모델 파인튜닝

  • 포켓몬 데이터셋을 사용해 모델을 텍스트 기반 이미지 채색 작업에 최적화.

• 캡션 데이터 생성

  • LLM을 활용해 학습에 필요한 캡션 데이터를 구축하여 모델 성능 향상에 기여.

문제 정의

• Instruct Pix2Pix 모델의 도메인 확장성

  • 다양한 도메인에 적용 가능한 Instruct Pix2Pix 모델을 포켓몬 캐릭터의 채색 작업에 특화하여 응용할 필요가 있음.

• 객체와 배경 구분 문제

  • 모델이 포켓몬의 특정 부분을 채색하면서 배경과 객체의 경계를 구분하지 못하는 경우 발생.

• 텍스트 색상 정보 인식 문제

  • 텍스트에 포함된 색상 정보를 정확하게 반영하지 못함.

문제 해결 방안

• 도메인 구체화

  • Image Translation에서 Image Coloring으로 프로젝트 도메인을 구체화하여 모델을 해당 작업에 맞게 파인튜닝.

• 데이터셋 구축

  • 변환 전후의 이미지를 포함하고 변환에 대한 캡션을 담은 데이터셋을 개발하여 모델이 텍스트를 통해 색상 정보를 정확히 반영할 수 있도록 개선.

결과

• 색상 정확도 및 이미지 퀄리티 향상: 텍스트의 색상 정보를 반영해 세밀하게 색을 입히는 기능을 성공적으로 구현하였으며, 이미지 품질이 전반적으로 향상됨.

• 수상 내역:

  • 수원대학교 학술제 3학년 부문 1위

  • 수원대학교 AISW Developer 최우수상

• 관련 자료:

  • Github 링크: GitHub Repository

OpenLab 1기에서 하던 여행 프로젝트를 OpenLab 2기로 이어서 AGI 파트를 리드하며 프로젝트 고도화를 진행하였습니다.

관련 링크

LLMOps에 관심이 있는 사람들이 모여서 격주로 SKT 판교 사옥에서 스터디를 하였습니다.

스터디 내용은 AutoRAG, LLM 평가, AGI, LLM fine-tuning이고 각자 공부한 것을 공유하며 자유롭게 이야기 하는 형식이었습니다.

저는 Multi-agent 기반 프로젝트 한 경험을 살려 AGI 파트에서 Multi-agent에 대해 주로 공유하였고

전과정을 참여하며 인사이트를 얻고 이를 여행 계획 생성 프로젝트로 발전시켰습니다.

더 깊게 AI에 다가가기 위해 지원한 부트캠프입니다.

커리큘럼은 다음과 같고

1. 빅데이터분석

2. AI프로그래밍

3. ML프레임워크

4. 딥러닝모델

5. DevOps실습

6. 컨테이너 인프라환경구축

7. 클라우드 서비스

8. Langchain을 활용한 챗봇

이 커리큘럼을 수행하며 MLOps에 관심이 생겨 MLOps 스터디를 주최하고 운영하며 6주간 MLOps에 대해 스터디원과 공부하였습니다.

github: https://github.com/SK-AI-FLY-MLOps-Study/MLOps-Study

프로젝트 기간에는 초개인화 AI 케어 플랫폼 POOM을 개발하고자 하였고 2달이라는 짧은 기간에 팀에 앱 개발 스택이 없음에도 불구하고 기획부터 데모까지 불철주야로 협업하여 만들어낸 뜻깊은 경험이었습니다.

SKT DEVOCEAN의 테크 인플루언서로서 다양한 활동을 하며 개발 생태계를 이해하게 되었습니다.

개발 컨퍼런스를 가거나 홍보영상을 만들거나 책 리뷰를 하고 전문가님과 커피챗을 하는 등등 활동을 하였습니다.

매달 주어지는 미션을 완수하며 이런 모든 경험을 DEVOCEAN이라는 개발 커뮤니티에 기록하였습니다.

적극적으로 참여를 한 결과, 최종 우수활동자에 선정되었습니다.

팀별로 프로젝트를 진행했습니다.

이때 팀장의 역할을 수행하며 SKT 인재개발원에서 발표하고 현업자 분들에게 피드백을 받는 뜻깊은 경험을 하게 되었고

이런 경험을 통해 개발 문화를 향유하고 앞으로의 커리어에 있어서 큰 동기부여가 되었던 대외활동이었습니다.