미리보기

• MAU 300만, 온라인 고객 수 100만 이커머스 회사 (온, 오프라인 600만)
• 인프라 개발, 백엔드 개발 담당
• 이커머스 사이트 인프라 구축 및 운영, 개발 및 운영
• 메시지(SMS/Email/Kakaotalk) 발송 서비스 인프라 구축, 개발 및 운영

• 40인 규모의 PC제어 인력 중심의 제조업 회사
• 인프라, 네트워크 관리 및 프로그램 개발 담당
• 오픈소스를 이용해 사내 ERP 단독 구축 및 개발
• 디스플레이 장비의 PC제어 (C++)

Description

• 온, 오프라인 고객 600만명을 대상으로 문자,이메일 등을 발송하는 서비스

• 일별 최대 1,300만건 메시지 전송 필요

• 인프라 설계, 구축 및 백엔드 API 개발 담당

• 분당 1만건 메시지 발송 최적화 및 안정화, 최대 분당 5만건 발송 환경 구축

• 구조 개요 : AWS Beanstalk(kotlin spring) -> Kinesis -> Lambda -> 외부 API

Experience

• 운영환경 및 개발환경 인프라 구축

  • AWS VPC, Beanstalk, Lambda, Kinesis 를 이용하여 구축
  • 이벤트 드리븐 아키텍처를 기반으로 데이터 전달 검증에 확실성을 얻고자 함
  • 내부 네트워크에서만 접근 가능하고 각 서비스를 권한을 하나하나 요청하여야 하고 권한 요청이 제한적인 상황에서 진행해야해서 해당 프로젝트에서는 IaC를 적용 못한 부분은 아쉬움

• AWS 람다 병렬 처리 개선

  • 요구사항 : 람다가 외부 서비스 API를 초당 300회 이상 요청 필요
  • 이슈 : 하나의 람다가 API 요청을 보내면 socket 부족 등의 문제가 있어 비동기로 한번에 요청을 보내면 실패하거나 지연됨
  • 해결방법 : 람다가 람다를 다시 호출하도록 해서 하나의 람다가 처리 가능한 양을 제한하고 여러 람다가 병렬적으로 요청을 보내는 파이프라인 방식으로 처리하여 요청량 충족함

• AWS Kinesis 용량 검증 및 분당 5만건 전달 가능한 환경 구축

  • 요구사항 : 분당 1만건의 메시징 데이터 전달 필요
  • 이슈 : SQS와의 기능 비교 후 Kinesis 사용 결정 (누락을 막기위해 FIFO SQS를 사용하기에는 느리다고 판단)
  • 해결방법 : Kinesis가 전달받는 데이터 1000개를 1개로 압축하는 라이브러리 사용해 데이터 전달 비용 1/1000 절감, 람다와의 트리거 세팅 조절하며 데이터 누락 거의 없이 대량의 데이터 전달 검증

• AWS 빈스톡 관리

  • 요구사항 : 멀티 인스턴스를 쓰는 상황에서 1개의 인스턴스만 특정 기능 배포 필요
  • 이슈 : 빈스톡은 AWS에 종속적인 기능이라 설정이 제한적
  • 해결방법 : AWS 문서에 기반하여 빈스톡의 설정값 중 leader_only 기능을 응용하여 특정 하나의 인스턴스를 인식 시키고 스크립트 다르게 실행시키도록 하였고, 여러 사이드이펙트가 있어 실제로 적용이 됐음에도 한계가 있었지만 여러 AWS를 실제로 운영하지 않으면 알 수 없는 경험을 함

Description

• 프로젝트별 인프라 업무 진행, Spring, Nextjs 기반의 웹사이트 개발 및 운영
• AWS EKS 환경을 기반으로 운영하고, 여러 AWS 리소스 사용

Experience

• 인프라 관리

  • 버티컬 사이트 배포 관리 (Argocd, Route53, CloudFront)
  • 쇼핑몰솔루션(아임웹)에 있는 사이트 사내 시스템으로 마이그레이션
  • 국가 또는 디바이스 유형 헤더별 콘텐츠 개인화 (CloudFront)
  • 전사 EKS 버전 업그레이드 작업 참여 (Terraform, EKS)
  • 반복 작업 스크립트화

• 쇼핑 컨텐츠 알림 기능 개발

  • 코오롱몰의 이벤트, 기획전 같은 컨텐츠를 고객에게 전달하는 작업
  • 기존 주문 및 컨텐츠 데이터를 가지고 있는 서버를 람다로 크롤링 후 키네시스로 전달하도록 람다 구축 및 개발
  • Serverless framework 를 이용하여 람다 및 키네시스 배포

• 그 외 웹 정보 보안 감사 및 소셜 로그인 개발 진행

Description

• 엑셀 기반으로 문서관리를 하던 회사에서 ERP 직접 구축 및 마이그레이션
• 오픈 소스 기반 ERP 서비스를 컨테이너 환경으로 On-Premis 환경에 Vagrant를 이용하여 구축

Experience

• 관리자가 혼자인 상황이어서, 누가 와도 쉽게 구축 할 수 있도록 docker-compose를 이용해 구축, 인프라 관리포인트를 줄이는 것에 신경 씀.
• Python 기반 odoo라는 오픈 소스 ERP를 이용해 회사에 맞게 마이그레이션
• 프로젝트 관리, 제품 관리를 회사의 리소스와 요구사항에 맞도록 개발해 회사의 발주 프로세스를 전산화

SPOTV라는 스포츠 중계 서비스가 불안정한 서버를 가지고 있는걸 보고 어떤 부분이 어려울까 궁금해서 직접 만들어보려고 시작했고, 하나의 서버는 얼마나 접속을 받아들일 수 있을지 알고 싶었습니다.
서버의 소켓이나 커넥션에 대한 공부를 할 수 있었고 서버 설정값 튜닝을 하면서 허용 커넥션이 변하는걸 보면서 서버의 동작방식도 알 수 있었고 재밌었던 개인 프로젝트였습니다.

https://shdkej.com/blog/100k_concurrent_server/