미리보기

날짜 형식을 표준화 하여 데이터 분석 시간 40% 단축

• 기술 스택: Python, Pandas, Qlik Sense(BI), SQL

• 각 도메인에서 발생하는 다양한 날짜 포맷을 분석 및 표준화 하여 마스터 테이블 구축

• 날짜 형식을 표준화 하여 데이터 분석 시간 40% 단축

• YYYY-MM-DD 형식의 날짜 데이터를 YYYY, MM, DD 필드로 분리하여 특정 연도 및 월별 분석 시간 40% 단축

Qlik Sense의 제한적인 접근 권한 관리 기능 분석 및 개선 솔루션 설계

• 기술 스택: Spring Boot, Oracle

• Qlik Sense의 제한적인 접근 권한 관리 기능 분석 및 개선 솔루션 설계

• Qlik Sense 대시보드 링크 구조를 활용하여 외부 접근 권한 제어 방식 설계 및 구현

• 사용자별 접근 범위 지정 로직 추가로 민감 데이터 접근 가능성 최소화

• 권한 관리 작업 시간을 80% 단축하고 접근 제어 향상으로 사용자 만족도 90% 상승

ERP 수주 업무 자동화

• 기술 스택: Python, Playwright

• ERP 시스템 내 수주 상태 변경 프로세스를 자동화하여 수작업 최소화

• 수주 처리 자동화를 통해 업무 담당자의 처리 시간 60% 단축

• 스크립트 유지보수 및 개선 작업 지원

IoT 센서 데이터 분석 자동화 및 데이터 유실률 90% 감소

• 기술 스택: Python, Flume, Kafka, Hadoop

• Flume을 활용해 게이트웨이 3대에서 발생하는 센서 데이터를 자동 수집 및 Hadoop 서버까지 적재하는 데이터 파이프라인 설계 및 구현

• Kafka 기반 비동기 적재 방식으로 전환하여 Hadoop 서버 장애에도 데이터 유실률 90% 감소

• 센서 데이터를 활용 목적에 맞게 시간 정보와 공간 정보를 인덱스로 정규화하여 시각화 차트의 데이터 처리 및 렌더링 시간을 70% 이상 감소

IoT 센서 모니터링 대시보드 개발 및 성능 60% 개선

• 기술 스택: Spring Boot, Django, MQTT

• Google 지도 API를 활용한 센서 위치 시각화 및 상태 표시 기능 구현

• 사용자 피드백 기반 신규 차트와 기능 추가로 사용자 만족도 70% 향상

• WebSocket 데이터 처리와 화면 렌더링 기능 분리를 통해 대시보드 속도 60% 이상 향상

• 반응형 레이아웃 도입으로 모바일 환경에서도 데이터 확인 용이

LMS(강의 관리 시스템) 개발 및 유지보수

• 고객 요청이 빈번했던 기능을 시스템화하여 유지보수 작업 시간 50% 단축

• 강의 등록, 수강생 관리, 평가 결과 확인 등 핵심 기능 개선으로 사용자 편의성 증대

ERP 데이터 모델링 - 마스터 날짜 테이블 구축

• 상황

  • ERP 시스템에서 사용되는 다양한 도메인 데이터를 분석할 때 도메인 별로 날짜 체계가 상이하여 데이터 통합 및 분석 시간 지연 문제와 데이터 품질 문제 발생

• 과제

  • 모든 ERP 데이터에서 공통으로 사용할 수 있는 마스터 날짜 테이블을 설계하고 구축해서 분석 기준을 통일하고 분석 프로세스 간소화가 목적으로 설계해야 했습니다.

• 행동

  1. ERP 데이터에서 날짜 관련 필드 추출 후 날짜 체계를 정리했습니다.

  2. 다양한 날짜 체계를 통합하기 위해 YYYY-MM-DD 형식을 기본으로 시간 필드까지 포함하여 YYYY-MM-DD 00:00 형식으로 통일했습니다.

  3. 데이터 누락 방지를 위해 날짜 데이터 범위는 분석 대상 데이터 내 최솟값과 최댓값을 기준으로 했습니다.

  4. 분석 효율 향상을 위해 날짜를 연, 월, 일, 주차, 분기 등의 필드를 생성했습니다.

  5. 마스터 테이블을 생성하는 스크립트를 공유해서 팀원도 데이터 분석에 활용할 수 있게 했습니다.

• 결과

  • 날짜 기준이 통일 되어 데이터 분석 프로세스 속도가 40% 향상됐습니다.

  • 연, 월, 일, 분기 필드 생성으로 특정 시간을 기준으로 하는 차트와 보고서 작성 시간이 30% 단축했습니다.

Qlik Sense 권한 관리 솔루션 개발 프로젝트

• 기술 스택

  • Spring boot, Oracle

• 상황

  • Qlik Sense를 활용한 데이터 분석 및 시각화 프로젝트를 진행하면서 Qlik Sense에서 제공하는 접근 권한 관리 기능이 상세한 권한 제어를 지원하지 않는 한계가 있었습니다. 특히 대시보드와 데이터셋에 대한 사용자별 세분화된 접근 제어가 어려웠습니다. 이는 민감한 데이터 접근 권한을 분리해야 하는 요구사항을 충족하지 못했고 데이터 보안 문제와 솔루션 사용에 대한 이용자들의 불만이 속출했습니다.

• 과제

  • Qlik Sense 접근 권한 관리 기능을 보완하기 위해 사용자별 대시보드 접근 권한을 세부적으로 제어할 수 있는 솔루션을 설계하고 구현했습니다. 이를 통해 민감한 데이터 보안을 강화하고 사용자 경험을 개선해야 했습니다.

• 행동

  1. Qlik Sense에서 제공하는 접근 권한 관리 기능을 분석 했을 때 세부적인 제한이 어려운 점을 확인했습니다.

  2. Qlik Sense 대시보드 링크 구조를 활용하여 외부 접근 권한 제어 방식을 설계했습니다.

  3. 사용자 별로 접근 할 수 있는 화면의 범위를 지정해서 범위에 따라 접근 권한을 부여하는 시스템을 설계했습니다.

  4. 사용자가 Qlik Sense 대시보드에 접근할 때 추가적으로 Qlik Sense에 등록된 적합 사용자 여부를 검증하게 했습니다.

• 결과

  • 화면에 대해 사용자별 세부적인 접근 권한 제어가 가능해져 민감한 데이터 접근 시도가 100% 차단되었습니다.

  • 권한 관리 솔루션 구현으로 사용자별 접근 권한 관리 작업 시간이 80% 단축되고, 이를 통해 사용자 만족도가 90% 상승했습니다.

프로젝트 내용

• 주차 센서 데이터 분석을 위해 센서에서 발생한 데이터를 전송받는 3대의 게이트웨이 서버에 대한 데이터 파이프 라인 개발 및 분석 자동화

기술 스택

Python, Pandas, Flume, Hadoop, Kafka

담당 역할

1. 데이터 파이프 라인 개발

   • 게이트웨이 서버에서 센서 데이터 생성 시 Flume을 활용해 데이터 수집부터 HDFS 적재 까지 자동화

2. 데이터 모델링

   • 센서 데이터가 제공하는 timestamp와 gps 데이터 형식 정규화

   • 분석 데이터 셋의 빠른 제공을 위해 센서 데이터를 특정 기간과 위치로 데이터 가공 후 적재

트러블 슈팅

• 문제 상황

  • 적재 서버의 네트워크 상태가 불안정하여 동기방식 수집 시 적재 서버 시간 지연과 적재 서버 장애 발생으로 인해 데이터 유실 문제 발생

• 해결 과정

  • Kafka를 통해 비동기 방식으로 데이터 적재 구조 변경

  • 수집된 데이터를 Provider가 Kafka Broker에 적재하고 HDFS에서 Broker 데이터를 소비하도록 구성

• 결과

  • 적재 서버 다운 시 서버가 유실되는 문제가 발생하지 않음

프로젝트 내용

• IoT 센서를 통해 실시간으로 수집된 데이터를 모니터링하고 센서 위치를 지도 기반으로 시각화 할 수 있는 대시보드 개발 및 유지보수

기술 스택

Java, Spring, Python, Django, MQTT

담당 역할

1. 대시보드 개발

   • Google 지도 API를 활용한 센서 위치 시각화 기능 구현

   • 센서 상태 표시 기능 추가로 사용자 경험 향상

2. 성능 최적화

   • WebSocket 데이터를 읽는 기능과 대시보드 렌더링 기능 분리를 통해 사용자 인터페이스 60% 이상 속도 향상

3. 운영 및 유지보수

   • 사용자 피드백을 반영하여 신규 차트 및 신규 기능 추가

   • 모니터링을 위한 센서 등록 프로세스 간소화

4. 문서화

   • 대시보드에 대한 운영 메뉴얼 및 API 명세서 작성

성과

• 반응형 레이아웃 도입으로 사용자가 모바일 환경에서 데이터 확인 용이

• 지도 기반 센서 시각화를 통해 장애 발생 센서 파악 용이