미리보기

AWS 환경에서 퍼블릭/프라이빗 네트워크 분리하여 보안이 높은 클라우드 환경 구축 필요

제한된 리소스 환경(2vCPU 4GiB)에서 웹서버 & 워커가 같은 인스턴스에서 운영되어 성능 저하 발생

팀원들이 파이프라인 코드에 집중할 수 있게 클라우드 CI/CD 시스템 구축 필요

DAG를 읽을 때 셀레니움이 계속 백그라운드로 재생성돼 EC2 과부하 발생

VPC를 퍼블릭/프라이빗으로 분리 & Bastion Host 도입하여 보안 강화

Airflow 웹서버와 워커를 각각 별도의 EC2 인스턴스에서 운영하여 성능 최적화

• RDS(PostgreSQL)를 메타스토어로 활용 & S3를 로그 저장소로 연동하여 우수한 고가용성 구현

GitHub Actions + Lambda 기반 CI/CD 구축으로 배포 자동화

Glances를 이용한 모니터링으로 셀레니움 재실행 문제 특정 및 깃허브 롤백을 통해 해결

AWS 인프라 보안 강화 → VPC 분리, Bastion Host 도입, SSL 보안 적용

Airflow 분산 환경 구축 → 성능 최적화 & 클라우드 비용 30% 절감

Django 서버와 ML 모델이 같은 환경에서 운영됨

• 트래픽 증가 시 성능 저하 발생 우려

S3에 매일 새로운 데이터가 적재되지만, 이를 반영하는 자동화된 재학습 시스템 필요

ML 모델 운영 비용이 높아, SageMaker 보다 EC2 기반 운영을 고려해야 함

Django 웹서버와 ML 모델(XGBoost)을 별도의 EC2에서 운영하여 부하 분산

• FastAPI를 사용하여 Django와 ML 모델 간 API 통신 환경을 구축

Crontab을 활용하여 S3 데이터를 기반으로 재학습 스케줄링 후 피클 파일 생성

• 모델은 피클 파일 기준으로 추천하여 학습과 추천을 분리하여 최적화

SageMaker 대비 EC2 기반 운영을 선택하여 비용 절감 가능성을 분석

FastAPI 기반 API 통신 구축 → Django & ML 모델 서버 부하 분산

ML 모델 자동화 → 매일 S3 데이터를 반영하여 최신 추천 학습

SageMaker 대비 EC2 기반 ML 운영 → 16% 비용 절감 (36달러 → 30달러)

F1 레이싱은 월간 1~3회 진행되며, 경기 데이터를 Open F1 API에서 JSON 형태로 제공

데이터를 주기적으로 수집하여 저장하는 ETL 파이프라인 필요

대시보드 시각화를 위해 데이터 마트(Data Mart, DM) 구축 필요

Open F1 API에서 데이터를 수집 → GCS에 Raw Data 저장 → BigQuery로 적재

Airflow DAG을 활용하여 데이터 자동 수집 (매월 1일 스케줄링)

BigQuery 처리 제한 문제 해결

백필(Backfill) 시 병렬 실행 개수를 5개로 제한하여 데이터 적재 최적화

경기 데이터의 주요 항목(드라이버 기록, 팀 순위, 랩 타임 등)을 정제하여 DM(Data Mart) 구축

해당 달에 경기가 없을 경우, Branch Task를 사용하여 이후 Task를 스킵하도록 수정

Airflow 기반 데이터 수집 자동화 → Open F1 API 데이터를 주기적으로 BigQuery에 적재 & 최신 데이터 반영

BigQuery 최적화 → 백필 처리 속도 향상 및 대량 데이터 적재 안정화

F1 경기 데이터 마트 구축 → 대시보드에서 분석 가능하도록 가공된 데이터 제공

Airflow와 Superset을 함께 운영할 수 있는 통합 데이터 플랫폼 필요

기존에는 로컬 환경에서 Airflow DAG을 실행했지만, GKE 환경에서 실행할 설정이 필요

KubernetesExecutor를 사용할 경우 Pod이 삭제되면서 로그도 함께 사라지는 문제 발생

GKE 비용 최적화를 고려해야 하며, 예상 비용을 측정할 필요가 있음

CI/CD 자동화를 위해 GitHub과 연동하여 DAG 배포 속도를 개선하고 싶음

Airflow & Superset을 GKE에서 함께 운영할 수 있도록 클러스터 설계

• GKE 클러스터 내에서 Helm Chart로 Airflow 및 Superset을 네임스페이스 단위로 구성

GKE 리소스 최적화 및 비용 절감

• E2-standard-2 VM 2대를 사용하여 GKE 클러스터 구축 (필요 시 확장 가능)

• Airflow 설치중 리소스가 부족한 문제가 발생하여 Autopilot 클러스터 대신 관리형 GKE 선택

로그 유실 문제 해결 (KubernetesExecutor 설정 개선)

• KubernetesExecutor 사용 시 Pod 삭제 후 로그도 함께 사라지는 문제 발생

• 이를 해결하기 위해 GCS에 로그 저장 설정 변경

GitHub Actions + Git-Sync를 활용한 CI/CD 자동화 구축

• GitHub에서 코드가 변경되면 DAG 파일이 자동 배포될 수 있도록 Git-Sync 적용

• 기존 GitHub Actions 대비 배포 속도 50% 단축 (20초 → 10초 내외)

GKE 기반 데이터 플랫폼 구축 → Airflow & Superset 운영 안정화 & 확장성 확보

클러스터 비용 최적화 → E2-standard-2 VM 2대로 운영하며 필요 시 Auto Scaling 가능

KubernetesExecutor에서 로그 유실 문제 해결

• GCS 로그 저장소 활용하여 안정성 강화

Git-Sync CI/CD 적용 → DAG 배포 속도 50% 단축, 운영 효율성 향상

BigQuery & Superset 연동

• 대시보드를 통한 경기 데이터 분석 가능

일 평균 약 5,000원 / 월간 예상 비용 150,000원으로 비용 예측