[목차]

지금까지 해온 업무 리스트로 이런 것을 할 수 있어요!

데이터 수집,저장,처리

• 데이터 수집
  • Mongodb, Mysql 데이터 수집
  • 식당, MBTI, 인스타그램 크롤링 데이터 수집
• 데이터 저장
  • In-memory를 활용하여 Parquet 데이터 저장
  • AWS S3,Redshift 데이터 저장
• 데이터 전처리
  • Python을 활용하여 Dataframe 전처리
  • Nosql(JSON) Flatten 처리
  • Kakao Api 활용, 주소 데이터 위도,경도 전환
  • Zeppelin PySpark Dataframe,RDD 전처리
• 데이터 검증
  • 일별,월별 대사 비교 후 비매칭 데이터 알람
  • 이상 데이터 검증

자동화 및 시각화

• 주요 지표 구글 시트 자동화
  • 마케팅 데이터 지표(CRM)
  • 서비스 지표 데이터(AARRR)
  • 사용자 퍼널, 유입, 이탈 데이터
• 배치성 작업 자동화
  • Airflow를 활용한 ETL, ELT 파이프라인 자동화
  • 일간,주간,월간 단위의 배치성 작업 자동화
• 스냅샷
  • 일별 유저 데이터 스냅샷 저장
  • 과거 데이터 백업 스냅샷 저장
• 데이터 시각화
  • Streamlit 대시보드 Web 배포
  • 시각화 데이터 보고서 정기 전송

인프라 환경 구축

• 클라우드 환경 구축
  • AWS VPC, IAM
  • AWS Redshift
  • AWS S3
  • AWS Airflow(MWAA)
  • AWS EMR(Spark)
• Docker
  • Airflow, Spark, Kafka, ELK 환경 구축
• 데이터 저장소 구축
  • AWS Redshift 환경 구축
  • S3 환경 구축 및 파일 생명 주기 관리, 외부 데이터 연결 설정
• Python 환경 구성
  • 가상환경, Requirements 환경 구성
• 파이프라인 환경 구축
  • Hevo Data를 활용한 DW 구축
  • Airflow를 활용한 DM 구축

데이터베이스 운영

• Mongodb-atlas, AWS RDS
  • 프로메테우스,그라파나를 활용한 OLTP DB 모니터링
  • 데이터 마이그레이션
• Mssql
  • 일 평균 50만건의 결제 데이터 운영 관리
  • 12만개 가맹점 운영 관리
• Redshift
  • OLAP(DW) 관리 운영
  • 테이블 구성, 정합성 관리
  • 데이터 분석가, 마케터를 위한 DataMart 구축
• 장애 처리 및 속도 개선
  • 로그 분석 장애 원인 파악,해결
  • API Response 속도 개선

김욱성의 장점을 소개합니다!

끊임없이 정리하고 공유하는 부지런함!

문서는 커뮤니케이션의 연장선이라 생각하고 있습니다. 다양한 직군에게 빠르면서 명확하고 간결한 정보를 주기 위해 문서를 정리 하는 습관이 있습니다.

상위 목표를 세워 목표보다 한단계 나아가는 엔지니어!

도메인에 대한 이해는 기본! 문제를 정의할 줄 알며, 근본적인 원인을 찾아 이해,해결하는 능력을 갖추고 있습니다.

실패를 빠르게! 두려워 하지 않는 강한 멘탈

한번에 성공하기 보다 실패를 빠르게 경험하여 개선하는 방식을 선호합니다. 고민 끝에 얻을 수 있는 변화의 결과를 좋아하고 도전을 두려워하지 않습니다.

김욱성을 채용해야 하는 이유!

김욱성의 포트폴리오입니다.