[AWS, Data Infrastructure] AWS에서 분석 플랫폼 구축 실습 Part 0 (실습 목표 및 전제 조건)

2022.06.16.

AWS에서 분석 플랫폼 구축 실습 Part 0

(실습 목표 및 전제 조건)

 

 

 

 

 

실습 목표 및 전제 조건

 

 

• 실습 목표

- Serverless data lake architecture 설계

 

- Amazon S3 storage를 사용하여 data를 data lake로 수집하는 data 처리 pipeline 구축

 

- 실시간 streaming data에 Amazon Kinesis 사용

 

- AWS Glue를 사용하여 data set 자동 분류

 

- AWS Glue 개발 end point에 연결된 Amazon SageMaker Jupyter notebook에서 대화형 ETL script 실행

 

- EMR을 사용하여 Spark 변환 작업 실행

 

- Glue에서 Amazon Redshift로 data 적재

 

- Amazon Redshift 모범 설계 사례 소개

 

- Amazon Athena를 사용하여 data를 query하고 Amazon QuickSight를 사용하여 visualization

 

Architecture

 

 

• 실습 전제 조건

- AWS account에서 AdminstratorAccess에 대한 access 권한이 있어야 함.

 

- 실습이 us-east-1 region에서 실행되어야 함.

 

 

 

 

 

참고: AWS Analytics on AWS (https://catalog.us-east-1.prod.workshops.aws/workshops/44c91c21-a6a4-4b56-bd95-56bd443aa449/ko-KR)

이 워크샵을 추천해주시고 항상 많은 도움을 주시는 정도현 선배님께 감사합니다.