미리보기

1. 다양한 소스로 파편화된 데이터를 한데 모아 데이터레이크를 구축하고 관리하는 업무

   1. 클라우드 기반 데이터웨어하우스 Snowflake를 사용합니다.

   2. 데이터 원천에서 부터 Snowflake까지 데이터가 이동하고 변형되는 일련의 과정(SAP BW/4HANA -> MS SQL SERVER(ODS, FACT, OLAP) -> AWS GLUE/S3 -> Snowflake)을 직접 경험해보며 데이터 아키텍처에 대해 배우고 구축하였습니다.

   3. Snowflake상에서 RowAccessPolicy를 통한 행 별 조회권한제어기능을 구현하였습니다.

   4. ETL정합성 모니터링 및 사용자 모니터링 대시보드를 제작하여 관리합니다.

   5. 뷰 형태로 데이터 마트를 구성해 데이터 분석팀에 전달합니다.

2. 다양한 외부 사이트에서 필요한 데이터를 동적으로 수집하고 정재한 뒤 스케줄링하는 업무

   1. jupyter notebook 상에서 Selenium, API를 사용한 ETL 프로세스를 스케줄링합니다.

   2. Airflow Datahub를 사용한 오케스트레이션 및 모니터링 프로세스로 변경해나가는 프로젝트를 계획하였습니다.

3. SAP ERP 데이터 추출 및 파이프라인을 구축하는 업무

   1. 부서 별 배치시간 차이로 인한 실적 데이터 반영 이슈 해결을 위해 과감하게 단일 배치 프로세스로 통합하는 ETL 파이프라인을 구축합니다.

   2. Tableau 시각화에 쓰일 데이터를 Python상에서 정제한 뒤 Snowflake에 적재합니다.

프로젝트명: Pyrfc, ODBC 를 활용한 SAP ERP 테이블 데이터 추출 및 정제/적재 자동화

- 연계/소속회사: (주)오뚜기

- 수행 기간: 2024. 06. 01 ~ 2024.07.31

- 주요 역할:

기존 배치 프로세스의 문제점 해결 및 단일 배치 프로세스 구축
SAP ERP 데이터의 직접 ETL을 통한 Snowflake 적재
기존의 복잡한 4개 배치 프로세스를 하나로 통합하여 관리 효율성 향상
다양한 SAP 모듈 및 데이터 입력 시간 차이에 따른 이슈 해결
Airflow 도입을 통한 오케스트레이션 및 Datahub로 메타데이터 모니터링 계획

프로젝트명: AI TFT (Artificial Inteligence TFT)

- 연계/소속회사 : (주)오뚜기

- 수행 기간 : 2024. 02. 16 ~ 2024.07.31

- 주요 역할 : 
사내 전용 챗봇RAG 개발 보조(Snowflake)
클루커스/삼성SDS RAG 구현POC 지원
사내 전용 챗봇 데이터 제공 및 검증/권한 제어
POC 구축에 필요한 데이터 검증 및 Snowflake 접근 권한 제어

프로젝트명: ML TFT (Machine Learning TFT)

- 연계/소속회사 : (주)오뚜기

- 수행 기간 : 2024. 01. 08 ~ 2024. 04. 05 (약 3개월)

- 주요 역할 : 
오뚜기 자사 및 경쟁사 신제품 비교 분석 Streamlit 시각화
자사 및 경쟁사 신제품 유사도 분석 및 시각화
사내 데이터 기반 챗봇 구현(GPT-4)
리뷰 데이터 감성분석 파이썬 RPA 개발

프로젝트명: 풍림푸드 BW-BI 시스템 구축 프로젝트

- 연계/소속회사 : (주)풍림푸드

- 수행 기간 : 2023. 11. 20 ~ 2024. 03. 19 (약 4개월)

- 주요 역할 : 
정보의 다양한 분석을 위한 분석시스템 구축
일/월별 효율적 보고 체계 구축
리포트 작성을 시스템화하여 업무효율성 증대
DATA 분석업무 전환 마련
경영, 구매, 재경,  물류, 인사, 영업, 제조 개발 및 보고서 지원


3) 프로젝트명: ML TFT (Machine Learning TFT)

- 연계/소속회사 : (주)오뚜기

- 수행 기간 : 2024. 01. 08 ~ 2024. 04. 05 (약 3개월)

- 주요 역할 : 
오뚜기 자사 및 경쟁사 신제품 비교 분석 Streamlit 시각화
자사 및 경쟁사 신제품 유사도 분석 및 시각화
사내 데이터 기반 챗봇 구현(GPT-4)
리뷰 데이터 감성분석 파이썬 RPA 개발

프로젝트명: Snowflake 데이터레이크 플랫폼 구축

- 연계/소속회사 : (주)오뚜기

- 수행 기간 : 2023. 05. 15 ~ 2023. 10. 13 (약 5개월)

- 주요 역할 : 
AWS 클라우드 인프라 환경 구축
- 데이터 플랫폼 아키텍처 수립, 클라우드 기반의 인프라 환경 구축
- 클라우드 환경으로 확장성/가용성 확보
- 인프라 관리업무 개선
데이터 통합저장소 구축
- 원천시스템에서 데이터 수집 및 적재, Snowflake로 통합저장소 구축
- 하나의 저장소로 데이터 적시 제공
- 데이터 가공시간 감소 및 I/F 용이
안정화 및 데이터 지원
- 시스템 오픈 후 데이터 수집 및 적재 안정화 및 데이터지원
- IT지원없이 업무 간 교차 분석 가능
- 메타데이터 조회 및 데이터 정합성 모니터링
- Row Access Policy 적용하여 사원 별 데이터 조회 권한 제어

- 업무 성과 :
- 오뚜기 및 관계사 데이터 적재 배치 파이프라인 개발 및 모니터링

2023.01 ~ 2023.01

한국어 NLP 표준화작업 (EDA, 오탈자 교정, 연음 처리)

커스텀 단어사전 기반 토크나이저 제작

2022.07 ~ 2022.08

App building Idea, Engineering Challenge, Tech Field Trip (Silicon Slopes - LUCID)

Web Development, EV3 Python programming (Southwest Technical College)

2020.02 ~ 2020.02

삼성 KeyStore SDK 사용법 학습

유기견 입양 NFT 발급 관리 서비스 제작 (Android SDK, Solidity, Django)

2019.12 ~ 2020.01

SW Design Thinking English Education

Stanford Univ AI conference

2019.11 ~ 2019.11

산학협력 해녀 체험 VR게임 제작 (HTC Vibe, Unity3d, C#)

체험부스 운영 일 200명 체험

2019.03 ~ 2019.06

음악공유저장 및 다운로드가 가능한 커뮤니티 웹사이트 제작(Python Django)