2022.06.18. AWS에서 분석 플랫폼 구축 실습 Part 2 (IAM Role, Glue Crawlers, Athena) Part 2 실습 목표 실습 목표 - Glue Data Catalog에 data set를 등록 - Glue Crawlers의 도움으로 meta data capture를 자동화 - catalog entity가 생성되면 Amazon Athena에서 data의 raw format의 data에 대해 query를 시작 IAM 계정에 권한 부여 목표 - 새 AWS Glue service role을 생성 => 이를 통해 AWS Glue는 S3에 저장된 data에 access하고 Glue data catalog에서 필요한 entity를 생성할 수 있음 IAM 계정에 권한 부여 - 'IAM' ..

2022.06.17. AWS에서 분석 플랫폼 구축 실습 Part 1 (S3 생성, Kinesis Firehose 생성, Dummy Data 생성) Part 1 실습 목표 실습 목표 - Kinesis data 생성기 utility를 사용하여 거의 실시간으로 dummy data를 생성 - 생성한 data를 Kinesis Firehose delivery stream을 사용하여 Amazon S3로 전송 - 일부 참조 data를 Amazon S3 bucket에 직접 복사 Create S3 Bucket Create S3 Bucket - 검색창에 'S3' 검색 후 선택 => '버킷 만들기' 선택 - '일반 구성'에서 '버킷 이름'에 'minjoooo-analytics-workshop-bucket' 입력, 'AWS 리..

2022.06.16. AWS에서 분석 플랫폼 구축 실습 Part 0 (실습 목표 및 전제 조건) 실습 목표 및 전제 조건 실습 목표 - Serverless data lake architecture 설계 - Amazon S3 storage를 사용하여 data를 data lake로 수집하는 data 처리 pipeline 구축 - 실시간 streaming data에 Amazon Kinesis 사용 - AWS Glue를 사용하여 data set 자동 분류 - AWS Glue 개발 end point에 연결된 Amazon SageMaker Jupyter notebook에서 대화형 ETL script 실행 - EMR을 사용하여 Spark 변환 작업 실행 - Glue에서 Amazon Redshift로 data 적재 -..

2022.06.14. AWS 루트 사용자 로그인이 안 되는 문제 (Feat. MFA) 요즘 매일 AWS IAM 계정으로 실습하다가 혹시 과금이 되지는 않았는지 하는 걱정에 루트 사용자로 로그인하려고 하였는데 로그인이 되지 않는 문제가 발생하였다..ㅠㅠ 거의 1시간 동안 같은 과정을 반복하며 시도했는데 로그인이 안 되었다ㅠㅠ 로그인 과정과 인증 실패 로그인 => 루트 사용자 이메일 주소에 이메일을 입력한다. 여기까지는 잘 넘어간다. 보안 검사 => 여기도 잘 넘어간다. 루트 사용자 로그인 => 여기까지도 잘 넘어간다. 멀티 펙터 인증 (MFA) => 내 생각엔 이게 문제다. 멀티 펙터 인증 화면이 뜨고, MFA 코드를 입력하면 화면은 잘 넘어간다. 그리고 마지막으로 보안 검사 한 번 더 하고 나면.. 이렇..

2022.06.14. AWS 알아보기 Part 9 (ELB 소개 및 실습) ELB(Elastic Load Balancer) 기본 개념 - Load Balancing - auto scaling group을 이용하면 다수의 instance를 효율적으로 활용해서 안정적인 service를 제공할 수 있다는 장점이 있음. 그러나 이를 사용하는 user 입장에서는 모든 instance의 IP 주소를 각각 알고 있어야 각각에 접근할 수 있음. => 각 instance를 모두 관리할 수 없으니, 부하를 분산해주는 load balancing service 없이는 활용이 불가능함. => ELB가 생겨남 정의 - 들어오는 application traffic을 EC2 instance, container, IP address,..