미리보기

높은 부하의 시계열 데이터를 대상으로 ‘검색’하고 목적에 맞게 ‘알림’을 발생시키는 기능을 주로 맡아왔습니다. SaaS와 On-Premise을 동시에 지원하는 MSA 구조로 설계된 Java, Spring Boot 기반의 프로젝트에서 개발해왔습니다. 시계열 데이터를 다루는 업무의 특성상 File DB를 다루는 작업이 많았지만, RDBMS와 JPA를 활용한 기본적인 데이터 설계도 문제없이 수행했습니다. 주요 기능에 대해 최대 메모리 사용량과 Thread Pool Size를 직접 조절하며 성능을 최적화했습니다. 제품의 성장에 필요한 모든 일들에 관여하는 것을 즐겼고 주인의식과 책임감을 느끼고 있습니다.

• Back-end : Java 8, SpringBoot 2., Mysql 8, JPA 2., TCP socket, 자체 개발 File Database
• Infra : AWS EC2, RDS, S3, Cloud Watch, Lambda

1일 10억 건의 로그를 수용*할 수 있는 로그 모니터링을 개발했습니다. 1일 10억 건 이상의 로그는 Scale-Out으로 대응합니다. 로그의 수집, 가공(파싱 및 인덱스 생성), 조회, 통계, 알림 기능을 개발했습니다. 고객사의 개발자와 운영자를 직접 만나 요구사항을 듣고 Datadog 로그 모니터링 제품을 참고하며 진행했습니다.
(로그모니터링 가이드 문서 : https://docs.whatap.io/log/log-search)

1일 10억건의 로그를 수용*

• 데이터 저장 서버 : vCPU 4Core, 16GB Memory
• 데이터 건수 : 10억건 / 일 (약 70만건/ 분)
• DISK 사용량 : 약 95GB / 일 (약 68MB / 분)
• 인덱스 기반 조회 속도 : 1건/296ms, 63건/420ms, 14만건/1232ms

주요 기여 사항

• File 기반의 Core DB 설계에는 참여하지 않음
• Core DB를 활용하여 로그 모니터링 제품화에 필요한 기능 대부분을 개발 (기여도 : 80%)
• Core DB의 로직을 100% 이해하여 ‘신입 개발자로 이해할 수 있는 수준’으로 문서화 함

입사 후 약 1년간 알림 기능의 전반적인 고도화를 담당했으며, 현재는 로그를 활용한 알림 기능에 집중하고 있습니다.

주요 개발 기능

1. 알림에 상태 정보 추가 (진행 중 또는 해소됨)
2. 알림 시뮬레이션 기능 개발 (임계치 검증 및 수신 포맷 확인)
3. 알림 메시지 개인화 기능 개발 (계정별 커스터마이징 기능 구현)
4. 로그 모니터링 알림 기능 개발 (실시간 키워드 알림, RPS 통계 알림, Error Status 통계 알림 등)

사이트 관리자 페이지에 필요한 기능 개발에 Full-Stack으로 참여했습니다. 기술적 깊이는 깊지 않았지만 SpringBoot, React 그리고 스타트업과 익숙해지는 시간을 가졌습니다.

• Back-end : Java 8, SpringBoot 2.*, MySQL, MyBatis, Linux
• Front-end : Javascript, React.js

RTMP 기반의 동영상 데이터를 broadcasting 하기 위한 Proxy 서버를 구축했습니다. RTMP 프로토콜 문서를 읽고 이해한 뒤, Framework 없이 C++ Socket programming을 구현했습니다.

• Back-end : C++, Socket Programming, RTMP Protocol, Git
• Reference : 열혈 TCP/IP 소켓 프로그래밍 (윤성우)