미리보기

• IoT 데이터 수집 및 처리 파이프라인 개발 / 유지보수

• 외부 API 연동 및 데이터 통합 시스템 구축

• IoT 디바이스 원시 데이터 처리 및 변환 시스템 개발

• 대용량 데이터 배치 처리 시스템 구현

• RESTful API 서버 개발 및 운영 관리

• 레거시 시스템 성능 개선 및 데이터베이스 최적화

• 클라우드 시스템의 온프레미스 환경 마이그레이션 프로젝트 수행

• IoT 데이터 시각화 웹 애플리케이션 개발 및 유지보수

• Google Cloud 서비스 활용한 확장 가능한 데이터 처리 시스템 구축

• Kubernetes 기반 컨테이너 클러스터 유지보수 및 관리

• 생산에 필요한 자재 수요 예측 및 재고 관리

• 신규 프로젝트 및 고객 요청에 따른 견적서 작성

• 구매 발주서 작성 및 관리

• 제품 양산 과정 모니터링 및 품질 관리

• 양산 중 발생하는 이슈 신속 대응 및 해결책 제시

• 장비 사용 매뉴얼 및 트러블슈팅 가이드 작성

• 국내 고객사 현장 방문 및 원격 기술 지원 제공

• 해외 고객사 대상 온라인 기술 지원 및 문제 해결

• 주요 업무: IoT 디바이스 네트워크의 실시간 데이터 수집, 처리, 분석

• 담당 역할: 백엔드 개발자

• 기술 스택:

  • 언어 및 프레임워크: Golang, Gin, Gorm, Node.js, jQuery

  • 클라우드 서비스: Google Cloud Platform (Cloud Run, Pub/Sub, BigQuery, Cloud Storage, Container Registry ...)

  • 컨테이너 및 오케스트레이션: Docker, Kubernetes

  • 데이터베이스: MySQL, Postgresql

  • 메시징 및 스트리밍: Kafka, gRPC, RabbitMQ

  • 워크플로우 관리: Airflow, CronJob

  • 애플리케이션 배포 및 빌드 자동화: Bash 스크립트

• 업무 기간: 2022.03 ~ 현재

• 상세 내용:

  1. 고성능 IoT 데이터 수집 및 처리 파이프라인 개발

     • Google Cloud Pub/Sub을 활용한 실시간 데이터 수집 시스템 개발 및 유지보수

     • 초당 10,000개 이상의 IoT 디바이스 메시지 처리 능력 확보

     • 데이터 무손실 전송을 위한 장애 복구 및 재처리 메커니즘 설계

     • Cloud Run, Cloud Pub/Sub을 이용한 확장 가능한 데이터 수집 서비스 구현 (500% 부하 증가에도 안정적 운영)

     • 멀티스레딩 및 고루틴을 활용한 병렬 처리 ETL(추출, 변환, 적재) 프로세스 개발로 데이터 처리 성능 향상

     • gRPC를 이용한 마이크로서비스 간 효율적 통신 구현

       • 서비스 간 통신 지연시간 REST API에 비해 20% 감소

     • 공공 API 및 외부 파트너사 API 연동을 통한 보조 데이터 수집

  2. 대규모 데이터 분석 및 인사이트 추출 시스템 개발

     • Google BigQuery를 활용하여 테라바이트 규모의 IoT 원시 데이터를 저장, 관리, 쿼리하는 대용량 데이터 분석 플랫폼 구축

  3. 데이터 관리 및 백업 시스템 구축

     • Airflow를 이용한 IoT 데이터 백업 및 관리 워크플로우 자동화, 데이터 손실 방지 및 백업 효율성 증대

     • Google Cloud Storage를 활용한 백업 데이터의 장기 보관 및 복구 시스템 설계 및 구현

  4. 고가용성 RESTful API 서버 기능 개발 및 운영

     • Gin 프레임워크를 사용한 RESTful API 서버 개발 및 유지보수, CRUD 기능 구현

     • MySQL 쿼리 및 인덱스 최적화를 통한 CRUD 작업 성능 n% 증가

  5. 시스템 최적화 및 성능 개선

     • 레거시 코드 리팩토링 및 아키텍처 개선으로 유지 보수 유지 보수성 향상

  6. 클라우드에서 온프레미스로의 마이그레이션

     • Kafka를 활용한 안정적인 데이터 스트리밍 파이프라인 구축

     • Kubernetes 기반의 마이크로서비스 아키텍처 설계 및 구현

     • 프라이빗 Docker Registry 구축 및 CI/CD 파이프라인 최적화

  7. IoT Device Application

     • IoT Device Raw Data 수집 및 Cloud로 전송하는 Application 개발 및 유지보수

     • Data Flow Application 개발 및 유지보수, 실시간 데이터 처리 및 분석 지원

     • Node.js와 jQuery를 활용한 웹 애플리케이션 개발, 데이터 시각화 및 사용자 인터페이스 구현

• 매 주 당첨번호를 가져오는 API를 통해 당청번호 최신화
• minikube를 통해 kubernetes 환경 구축
• kubernetes cronjob을 통해 매 8시간마다 당첨번호 예측 머신러닝 실행
• 결과값은 SNS(텔레그램)으로 전송
• 예측값과 실제 당첨번호 값 비교 후 정확도 계산 API
• flutter 앱 개발 (진행중)

https://github.com/YouSangSon/lotto_rest
https://github.com/YouSangSon/lotto_app_ml