[AWS, Data Infrastructure] AWS에서 분석 플랫폼 구축 실습 Part 1 (S3 생성, Kinesis Firehose 생성, Dummy Data 생성)
2022. 6. 17. 13:35
AWS
2022.06.17. AWS에서 분석 플랫폼 구축 실습 Part 1 (S3 생성, Kinesis Firehose 생성, Dummy Data 생성) Part 1 실습 목표 실습 목표 - Kinesis data 생성기 utility를 사용하여 거의 실시간으로 dummy data를 생성 - 생성한 data를 Kinesis Firehose delivery stream을 사용하여 Amazon S3로 전송 - 일부 참조 data를 Amazon S3 bucket에 직접 복사 Create S3 Bucket Create S3 Bucket - 검색창에 'S3' 검색 후 선택 => '버킷 만들기' 선택 - '일반 구성'에서 '버킷 이름'에 'minjoooo-analytics-workshop-bucket' 입력, 'AWS 리..
[AWS, Data Infrastructure] AWS에서 분석 플랫폼 구축 실습 Part 0 (실습 목표 및 전제 조건)
2022. 6. 15. 23:49
AWS
2022.06.16. AWS에서 분석 플랫폼 구축 실습 Part 0 (실습 목표 및 전제 조건) 실습 목표 및 전제 조건 실습 목표 - Serverless data lake architecture 설계 - Amazon S3 storage를 사용하여 data를 data lake로 수집하는 data 처리 pipeline 구축 - 실시간 streaming data에 Amazon Kinesis 사용 - AWS Glue를 사용하여 data set 자동 분류 - AWS Glue 개발 end point에 연결된 Amazon SageMaker Jupyter notebook에서 대화형 ETL script 실행 - EMR을 사용하여 Spark 변환 작업 실행 - Glue에서 Amazon Redshift로 data 적재 -..
[AWS] AWS 루트 사용자 로그인이 안 되는 문제 (Feat. MFA)
2022. 6. 14. 23:56
AWS
2022.06.14. AWS 루트 사용자 로그인이 안 되는 문제 (Feat. MFA) 요즘 매일 AWS IAM 계정으로 실습하다가 혹시 과금이 되지는 않았는지 하는 걱정에 루트 사용자로 로그인하려고 하였는데 로그인이 되지 않는 문제가 발생하였다..ㅠㅠ 거의 1시간 동안 같은 과정을 반복하며 시도했는데 로그인이 안 되었다ㅠㅠ 로그인 과정과 인증 실패 로그인 => 루트 사용자 이메일 주소에 이메일을 입력한다. 여기까지는 잘 넘어간다. 보안 검사 => 여기도 잘 넘어간다. 루트 사용자 로그인 => 여기까지도 잘 넘어간다. 멀티 펙터 인증 (MFA) => 내 생각엔 이게 문제다. 멀티 펙터 인증 화면이 뜨고, MFA 코드를 입력하면 화면은 잘 넘어간다. 그리고 마지막으로 보안 검사 한 번 더 하고 나면.. 이렇..
[AWS] AWS 알아보기 Part 9 - ELB 소개 및 실습
2022. 6. 14. 18:50
AWS
2022.06.14. AWS 알아보기 Part 9 (ELB 소개 및 실습) ELB(Elastic Load Balancer) 기본 개념 - Load Balancing - auto scaling group을 이용하면 다수의 instance를 효율적으로 활용해서 안정적인 service를 제공할 수 있다는 장점이 있음. 그러나 이를 사용하는 user 입장에서는 모든 instance의 IP 주소를 각각 알고 있어야 각각에 접근할 수 있음. => 각 instance를 모두 관리할 수 없으니, 부하를 분산해주는 load balancing service 없이는 활용이 불가능함. => ELB가 생겨남 정의 - 들어오는 application traffic을 EC2 instance, container, IP address,..
[AWS] AWS 알아보기 Part 8 - Auto Scaling 소개 및 실습
2022. 6. 13. 23:02
AWS
2022.06.13. AWS 알아보기 Part 8 (Auto Scaling 소개 및 실습) Auto Scaling 정의 - application을 monitoring하고 용량을 자동으로 조정하여, 최대한 저렴한 비용으로 안정적이고 예측 가능한 성능을 유지함. 목표 - 정확한 수의 EC2 instance를 보유하도록 보장함. group의 최소와 최대 instance 개수 사이를 유지하도록 instance를 추가하고 삭제함. 다양한 scaling 정책을 적용하여 CPU 부하에 따라 instance를 추가하고 삭제함. - 가용 영역에 instance가 골고루 분산될 수 있도록 분배함. 하나의 가용 영역에 문제가 생기면 service에 심각한 장애가 발생하기 때문에 이를 방지하기 위함임. 기본 개념 - Scal..