[목차]
지금까지 해온 업무 리스트로 이런 것을 할 수 있어요!
데이터 수집,저장,처리
- 데이터 수집
- Mongodb, Mysql 데이터 수집
- 식당, MBTI, 인스타그램 크롤링 데이터 수집
- 데이터 저장
- In-memory를 활용하여 Parquet 데이터 저장
- AWS S3,Redshift 데이터 저장
- 데이터 전처리
- Python을 활용하여 Dataframe 전처리
- Nosql(JSON) Flatten 처리
- Kakao Api 활용, 주소 데이터 위도,경도 전환
- Zeppelin PySpark Dataframe,RDD 전처리
- 데이터 검증
- 일별,월별 대사 비교 후 비매칭 데이터 알람
- 이상 데이터 검증
자동화 및 시각화
- 주요 지표 구글 시트 자동화
- 마케팅 데이터 지표(CRM)
- 서비스 지표 데이터(AARRR)
- 사용자 퍼널, 유입, 이탈 데이터
- 배치성 작업 자동화
- Airflow를 활용한 ETL, ELT 파이프라인 자동화
- 일간,주간,월간 단위의 배치성 작업 자동화
- 스냅샷
- 일별 유저 데이터 스냅샷 저장
- 과거 데이터 백업 스냅샷 저장
- 데이터 시각화
- Streamlit 대시보드 Web 배포
- 시각화 데이터 보고서 정기 전송
인프라 환경 구축
- 클라우드 환경 구축
- AWS VPC, IAM
- AWS Redshift
- AWS S3
- AWS Airflow(MWAA)
- AWS EMR(Spark)
- Docker
- Airflow, Spark, Kafka, ELK 환경 구축
- 데이터 저장소 구축
- AWS Redshift 환경 구축
- S3 환경 구축 및 파일 생명 주기 관리, 외부 데이터 연결 설정
- Python 환경 구성
- 파이프라인 환경 구축
- Hevo Data를 활용한 DW 구축
- Airflow를 활용한 DM 구축
데이터베이스 운영
- Mongodb-atlas, AWS RDS
- 프로메테우스,그라파나를 활용한 OLTP DB 모니터링
- 데이터 마이그레이션
- Mssql
- 일 평균 50만건의 결제 데이터 운영 관리
- 12만개 가맹점 운영 관리
- Redshift
- OLAP(DW) 관리 운영
- 테이블 구성, 정합성 관리
- 데이터 분석가, 마케터를 위한 DataMart 구축
- 장애 처리 및 속도 개선
- 로그 분석 장애 원인 파악,해결
- API Response 속도 개선
김욱성의 장점을 소개합니다!
끊임없이 정리하고 공유하는 부지런함!
문서는 커뮤니케이션의 연장선이라 생각하고 있습니다. 다양한 직군에게 빠르면서 명확하고 간결한 정보를 주기 위해 문서를 정리 하는 습관이 있습니다.
상위 목표를 세워 목표보다 한단계 나아가는 엔지니어!
도메인에 대한 이해는 기본! 문제를 정의할 줄 알며, 근본적인 원인을 찾아 이해,해결하는 능력을 갖추고 있습니다.
실패를 빠르게! 두려워 하지 않는 강한 멘탈
한번에 성공하기 보다 실패를 빠르게 경험하여 개선하는 방식을 선호합니다. 고민 끝에 얻을 수 있는 변화의 결과를 좋아하고 도전을 두려워하지 않습니다.
김욱성을 채용해야 하는 이유!
끊임없는 성장 추구!
개인의 ‘**성장'**이 곧 회사의 성장! 새로운 것을 배우며 도전을 통해 얻은 결과로 자신을 성장합니다. 피드백을 즐기며 항상 같은 실수를 반복하려하지 않습니다.
효율적인 업무 방식 추구
‘**최소한으로 최대효율'**을 추구! 주어진 시간, 환경에서 업무에 몰두하고 집중하는 방법을 찾아 최대한 효율적인 방식으로 업무를 처리합니다. 데이터 기반 논리적이고 합리적인 의사결정을 진행합니다.
매번 똑같은 일은 No! 자동화하여 업무의 편리성을 높이려고 합니다.
업무에선 내가 리더!
담당 업무를 주도적으로 이끌고 수행하는 방식을 추구합니다. 나의 업무를 스스로 찾아 자율적으로 업무를 진행합니다.
하나를 하더라도 끝까지 완벽하게!
회사의 일은 곧 나의 일! 모든 일에 책임감을 가지고 완벽하게 처리하려고 합니다.
김욱성의 포트폴리오입니다.