미리보기

• Python을 이용한 수집기 개발
• FastAPI를 사용한 API 개발
• GCP(Cloud Function, Cloud Scheduler, VM, Cloud Storage, BigQuery, Cloud Logging, Monitoring)등 다양한 기능 이용하여 데이터 파이프라인 및 모니터링 시스템 구축
• Gitlab-Runner 이용 CI/CD 환경 구축
• Docker Compose 사용하여 환경 구축
• Tousflux 1.0, Tousflux2.0 개발 및 유지보수

[담당업무]

• 시스템 엔지니어[SE]

[담당 사이트]
(정)

• EG주식회사
  : AD 서버 구축 및 Azure AD와 연동 작업
• 서울신용보증재단 콜센터, 한양대학교 학술 정보원
  : 유지보수 및 장애처리

(부)

• 롯데칠성
  : VDI 구축 작업
• 성남시청
  : 차세대 HCI 구축 작업
• 롯데하이마트
  : 보안 취약점 조치

[Python 기반의 웹 크롤러]

[담당 업무]
[수집기 개발]

• 소셜, 커머스 수집기 개발(수집 채널 내의 패션/뷰티 카테고리 전수 수집)
• 소셜 및 커머스 재수집기 개발(수집 스케줄 오류 및 과거 데이터 수집 시 사용)
• 소셜 채널 수집 개발(네이버 블로그, 유튜브, 루리웹, 뽐뿌)
• 커머스 채널 수집 개발(쿠팡, 옥션, G마켓, 네이버쇼핑)
• 데이터 Google Cloud Storage에 CSV 파일로 업로드 후, Cloud Functions 사용하여 BigQuery에 일괄 적재 로직 개발 (기존 데이터 수집하여 수집한 데이터 가 300 row 라고 할 시, 로직 변경 전 22분 -> 7분으로 평균 60% 이상 시간 단축)
• Gitlab Runner를 통한 CI/CD 환경 구축
• Docker Compose를 통해 하나의 수집기 서버에서 6대의 컨테이너를 통해 수집기 가동하도록 구성
• 쉘 스크립트 및 크론탭 사용하여 30분 마다 컨테이너내 프로그램 프로세스 확인 후, 다운되어있을 경우 자동으로 켜지도록 개발

[API 개발]

• FastAPI 사용하여 Spanner에 필요한 정보 조회(수집 스케줄, 서버 정보, 계정 정보 등)를 할 수 있도록 개발
• FastAPI 사용하여 재수집 시, GCS 통한 업로드가 아닌 BigQuery에 직접 적재하도록 로직 개발
• FastAPI 사용하여 검색엔진에 적재된 데이터 조회 할 수 있도록 es 연결 및 es 쿼리 작성 통해 인덱스에서 필요한 데이터 조회 후, 데이터 가공하여 Response로 반환
• SSL 인증서 적용 및 자동화(certbot 이용하여 ssl 인증서 무료로 받은 후, 쉘 스크립트 및 크론탭 사용하여 60일에 한 번씩 자동 갱신 하도록 로직 개발 및 적용)

[모니터링 시스템 구축]

• 프로젝트 별로 예외 발생 시, Google Cloud Logging에 로그 남기도록 개발
• GCP의 Monitoring 이용하여 Google Cloud Logging에 ip 차단, 프로그램 종료, 스케줄 밀림등의 로그가 남을 경우 메일이 날아오도록 개발

[유지보수]

• 수집기, API등 이슈사항 발생 및 기능 추가 시 필요사항에 따라 작업

[ C# 기반의 웹 크롤러]

[담당 업무]
[유지보수]

• 재부팅 로직 개발
  : 수집기가 vm에서 오랜 시간 가동 되다 보니 느려짐 현상 및 수집중 오류로 인한 크롬드라이버 미꺼짐 현상으로 CPU, 메모리 문제로 인한 VM 멈춤 현상, 그로 인해 정상적으로 수집이 되지 않는 경우가 종종 발생하여, 프로시저를 이용하여 수집기가 돌지 않는 새벽에 재부팅과 관련된 스케줄 만들어 해당 스케줄 vm마다 할당해서 재부팅 후 프로그램 다시 시작하도록 개발하여 VM 멈춤 현상 및 느려지는 이슈 해결

• 해외 수집 채널 이관
  : 해외 쇼핑 채널 수집 관련하여 기존에 C# 기반의 수집기는 윈도우 OS를 사용하여 라이센스 비용 및 한 서버에 하나의 수집기만 구동하다보니 지속적인 수집 스케줄 밀림 이슈 존재, 이를 한 대의 VM에서 Ubuntu OS 사용과 Python 기반의 수집기, Docker Compose 사용해 3대의 컨테이너를 한 서버에서 구동하도록 구성함으로 OS 비용 해결 및 밀림 현상 해결

이 외에도 채널 추가 등 요청사항이 들어오면 해당 요구에 맞추어 유지보수 진행하고 있습니다.

기간: 21.12.22 ~ 22.04.13
시수/일수: 944시간 / 118일

교육 내용

• HTML,CSS, JSP, JavaScript, jQuery
• JAVA, SpringFrameWork
• DataBase : OracleDB

[프로젝트]
제목: 카카오뱅크 ERP
인원: 25 명
개발 내용 :
1.카카오뱅크 ERP 프로젝트중 영업 부분 진행
2.상품 관리 시스템 고객 관리 시스템 리드 관리 시스템 영업관리 시스템 영업 일정 관리 보고서

[담당업무]
영업 일정 관리, 보고서
영업 일정 - 영업 일정 CRUD, FullCalendar.js, Ajax 이용하여 구현
보고서 중 영업 - 영업에 등록된 데이터 및 HighCharts.js, Ajax 이용하여 구현

[개발환경 및 라이브러리]

1. 구현언어 : HTML,CSS3, Java 11, JSP, JavaScript
2. 사용기술 : Ajax, jQuery
3. 라이브러리 : FullCalendar.js, HighChart.js
4. WAS : Tomcat 9.0
5. DB 서버 : OracleDB21.1.0.0
6. 형상 관리 서버 : Github
7. 프레임워크 : Spring Framework 4.3.4, MyBatis 3.2.7
8. 개발 환경 : Eclipse 2021-03