미리보기

• 브랜드 친화도 fDNA 임베딩과 사용자 행동 데이터를 활용한 개인화 타겟팅 파이프라인 구축, MWAA와 Databricks, Spark로 구현, 참여율을 96% 증가, ROAS를 106% 향상

• Audience Targeting 플랫폼 개발 및 운영, ETL 파이프라인 개발 및 운영

• 실시간 동적 랭킹 아키텍처 개선, 사용자 행동 데이터 기반과 가중치 요소를 활용하여 기존 매출 기반의 랭킹 시스템을 대체. Kotlin, Spring, AWS OpenSearch 사용

• 최대 100,000 TPS를 처리할 수 있는 실시간 사용자 이벤트 파이프라인 구축. Gateway API와 Kinesis를 제거하여 연간 $2200 비용 절감. Kotlin, Spring, Kafka 사용

• 분산 데이터베이스를 통합하고 반복적인 배치 작업을 제거하여 통계 API를 위한 중앙 플랫폼을 구축함으로써 집계 API 생성 시간을 몇 달에서 몇 분으로 단축

• 백엔드 플랫폼의 AWS 인프라를 처음부터 구축 및 모노 레포지토리를 위한 CI/CD 파이프라인을 설계

• 사용자 여정 분석과 이탈률 감소를 위한 퍼널 최적화, 친구 추천 기능을 도입하여 인바운드 트래픽을 12% 증가

• 비즈니스 대시보드 분석으로 쿠폰 시스템을 개선, 선주문 옵션을 도입하여 매출을 50% 증가

• 트랜잭션 기반 비동기 메시징을 최적화, 응답 시간을 38% 단축, Java, Spring Boot, Kafka 사용

• 팀 내 유닛 및 통합 테스트 도입, 27%의 코드 커버리지를 달성, 팀 가이드라인 문서화

Rule 기반 타겟팅에서 개인화된 타게팅을 위한 ETL 파이프라인 구축

• 목표: 개인화된 타겟팅으로 파트너 브랜드의 캠페인의 퍼널 Engagement 증가

• 문제:

  • Rule 기반은 일반적인 특성으로만 타겟팅 -> 타겟 그룹의 범위가 넓어 원하지 않는 사용자 타겟팅

  • 사용자의 취향 특성 반영하지 못하는 문제

• 해결: 사용자 인터렉션과 fDNA 임베팅을 통해 사용자와 브랜드 간의 임베딩 Similarity로 Brand Affinity 계산

• 성과: 참여율을 96% 증가, ROAS를 106% 향상

• 관련 발표 : Brand Affinity Project

사용자 행동 이벤트 스트리밍 파이프라인 및 API Gateway 구축

• 목표: 기존 API Gateway 및 이벤트 스트리밍 파이프라인의 비용 절감 및 트래픽 확보

• 문제:

  • 기존 AWS API Gateway와 Kinesis의 비싼 비용 (연간 $78,000)

  • 매년 증가하는 트래픽과 블랙 프라이데이의 급격한 트래픽 대응 (2023년 10K -> 2024년 50K TPS)

• 해결: Coroutine, WebFlux, Kafka를 이용하여 Asynchronous, Non Blocking 방식으로 이벤트 핸들링

• 성과: 서버 비용 감소 ($22,000 감축) 및 100K TPS 감당하는 API Gateway 구축

• 기술 스택: Coroutine, WebFlux, Kafka, Kafka Connect, S3

마이크로서비스 분산 DB 환경에서 데이터 통합 API 플랫폼 구축

• 목표: 마이크로서비스의 분산 DB 환경에서 개발팀이 집계 API를 빠르게 생성하는 플랫폼 구축

• 문제:

  • 분산 DB에서 데이터 파악을 위한 커뮤니케이션 코스트 발생, 데이터 없는 경우, 새로 생성 혹은 API 개발 비용 추가

  • 각 팀이 중복적으로 배치 시스템을 처음부터 구축 필요 (약 1개월 소요)

• 해결: 쿼리를 등록하면 일정 주기로 Data mart에서 데이터를 조회하여 레디스로 캐시, API로 제공

• 성과: 성과: 개발팀 생산성 향상(약 2개월에서 10분으로 단축), p95 기준 30ms, 60,000 TPS 처리, 연말 전사 새미나 발표, 총 5개 팀에서 사용

• 관련 발표 : 해롯 - 데이터 통합 API

• 기술 스택: Kotlin, Spring Boot, Redis, Postgres, Airflow, Databricks, React Admin

랭킹 시스템 아키텍처 개선

• 목표: 레거시 랭킹 시스템 아키텍처 개선 논의

• 문제:

  • 다양한 데이터 소스를 집계하는 복잡한 배치 시스템 (Jenkins, Spring Batch)

  • 기존 매출 기반 로직으로는 정확한 랭킹 제공의 어려움

• 해결:

  • 5분, 60분 단위로 데이터 집계, 집계한 데이터 기반으로 주, 월, 분기 단위의 데이터 집계

  • 사용자 인터렉션 데이터와 가중치 기반으로 한 랭킹 로직 변경

• 기술 스택: Kotlin, Spring Boot, Redis, Elasticsearch

• AWS에서 주관한 데이터 엔지니어링 해커톤

• 전체 팀 중 4위로 마무리