[AWS, Data Infrastructure] AWS에서 분석 플랫폼 구축 실습 Part 2 (IAM Role, Glue Crawlers, Athena)
2022. 6. 18. 01:36
AWS
2022.06.18. AWS에서 분석 플랫폼 구축 실습 Part 2 (IAM Role, Glue Crawlers, Athena) Part 2 실습 목표 실습 목표 - Glue Data Catalog에 data set를 등록 - Glue Crawlers의 도움으로 meta data capture를 자동화 - catalog entity가 생성되면 Amazon Athena에서 data의 raw format의 data에 대해 query를 시작 IAM 계정에 권한 부여 목표 - 새 AWS Glue service role을 생성 => 이를 통해 AWS Glue는 S3에 저장된 data에 access하고 Glue data catalog에서 필요한 entity를 생성할 수 있음 IAM 계정에 권한 부여 - 'IAM' ..
[AWS, Data Infrastructure] AWS에서 분석 플랫폼 구축 실습 Part 1 (S3 생성, Kinesis Firehose 생성, Dummy Data 생성)
2022. 6. 17. 13:35
AWS
2022.06.17. AWS에서 분석 플랫폼 구축 실습 Part 1 (S3 생성, Kinesis Firehose 생성, Dummy Data 생성) Part 1 실습 목표 실습 목표 - Kinesis data 생성기 utility를 사용하여 거의 실시간으로 dummy data를 생성 - 생성한 data를 Kinesis Firehose delivery stream을 사용하여 Amazon S3로 전송 - 일부 참조 data를 Amazon S3 bucket에 직접 복사 Create S3 Bucket Create S3 Bucket - 검색창에 'S3' 검색 후 선택 => '버킷 만들기' 선택 - '일반 구성'에서 '버킷 이름'에 'minjoooo-analytics-workshop-bucket' 입력, 'AWS 리..
[AWS, Data Infrastructure] AWS에서 분석 플랫폼 구축 실습 Part 0 (실습 목표 및 전제 조건)
2022. 6. 15. 23:49
AWS
2022.06.16. AWS에서 분석 플랫폼 구축 실습 Part 0 (실습 목표 및 전제 조건) 실습 목표 및 전제 조건 실습 목표 - Serverless data lake architecture 설계 - Amazon S3 storage를 사용하여 data를 data lake로 수집하는 data 처리 pipeline 구축 - 실시간 streaming data에 Amazon Kinesis 사용 - AWS Glue를 사용하여 data set 자동 분류 - AWS Glue 개발 end point에 연결된 Amazon SageMaker Jupyter notebook에서 대화형 ETL script 실행 - EMR을 사용하여 Spark 변환 작업 실행 - Glue에서 Amazon Redshift로 data 적재 -..
[AWS] AWS 루트 사용자 로그인이 안 되는 문제 (Feat. MFA)
2022. 6. 14. 23:56
AWS
2022.06.14. AWS 루트 사용자 로그인이 안 되는 문제 (Feat. MFA) 요즘 매일 AWS IAM 계정으로 실습하다가 혹시 과금이 되지는 않았는지 하는 걱정에 루트 사용자로 로그인하려고 하였는데 로그인이 되지 않는 문제가 발생하였다..ㅠㅠ 거의 1시간 동안 같은 과정을 반복하며 시도했는데 로그인이 안 되었다ㅠㅠ 로그인 과정과 인증 실패 로그인 => 루트 사용자 이메일 주소에 이메일을 입력한다. 여기까지는 잘 넘어간다. 보안 검사 => 여기도 잘 넘어간다. 루트 사용자 로그인 => 여기까지도 잘 넘어간다. 멀티 펙터 인증 (MFA) => 내 생각엔 이게 문제다. 멀티 펙터 인증 화면이 뜨고, MFA 코드를 입력하면 화면은 잘 넘어간다. 그리고 마지막으로 보안 검사 한 번 더 하고 나면.. 이렇..
[AWS] AWS 알아보기 Part 9 - ELB 소개 및 실습
2022. 6. 14. 18:50
AWS
2022.06.14. AWS 알아보기 Part 9 (ELB 소개 및 실습) ELB(Elastic Load Balancer) 기본 개념 - Load Balancing - auto scaling group을 이용하면 다수의 instance를 효율적으로 활용해서 안정적인 service를 제공할 수 있다는 장점이 있음. 그러나 이를 사용하는 user 입장에서는 모든 instance의 IP 주소를 각각 알고 있어야 각각에 접근할 수 있음. => 각 instance를 모두 관리할 수 없으니, 부하를 분산해주는 load balancing service 없이는 활용이 불가능함. => ELB가 생겨남 정의 - 들어오는 application traffic을 EC2 instance, container, IP address,..
[AWS] AWS 알아보기 Part 8 - Auto Scaling 소개 및 실습
2022. 6. 13. 23:02
AWS
2022.06.13. AWS 알아보기 Part 8 (Auto Scaling 소개 및 실습) Auto Scaling 정의 - application을 monitoring하고 용량을 자동으로 조정하여, 최대한 저렴한 비용으로 안정적이고 예측 가능한 성능을 유지함. 목표 - 정확한 수의 EC2 instance를 보유하도록 보장함. group의 최소와 최대 instance 개수 사이를 유지하도록 instance를 추가하고 삭제함. 다양한 scaling 정책을 적용하여 CPU 부하에 따라 instance를 추가하고 삭제함. - 가용 영역에 instance가 골고루 분산될 수 있도록 분배함. 하나의 가용 영역에 문제가 생기면 service에 심각한 장애가 발생하기 때문에 이를 방지하기 위함임. 기본 개념 - Scal..
[AWS] AWS 알아보기 Part 7 - EC2의 생명주기
2022. 6. 12. 10:49
AWS
2022.06.11. AWS 알아보기 Part 7 (EC2의 생명주기) EC2의 생명주기 정의 - AMI로부터 EC2가 실행이 된 후부터 종료될 때까지 EC2가 거치는 과정 소개 - pending state: 준비 state. EC2를 가동하기 위해 virtual machine에 올라간다거나 ENI나 EBS 등이 준비된 state. - running state: EC2를 사용할 수 있는 state. - rebooting mode: rebooting 시에는 public IP의 변동이 없음. - 중지 mode: 중지 중에는 instance 요금이 청구되지 않음. 그러나 EBS 요금과 다른 구성요소(Elastic IP 등)의 요금은 청구됨. 중지 후 재시작 시 public IP가 변경됨. (재시작 후 PuTT..
[AWS] AWS 알아보기 Part 6 - EBS, Snapshot, AMI, AMI 실습
2022. 6. 11. 02:22
AWS
2022.06.10. AWS 알아보기 Part 6 (EBS, Snapshot, AMI, AMI 실습) EBS(Elastic Block Storage) 정의 - AWS cloud의 EC2 instance에 사용할 영구 block storage volume을 제공함. - 각 EBS volume은 가용 영역 내에 자동으로 복제되어 구성요소 장애로부터 보호해주고, 고가용성 및 내구성을 제공함. 소개 - 가상의 hard drive - EC2 instance와 EBS는 서로 분리되어 network로 연결되어 있음 => instance가 종료되어도 EBS는 계속 유지 가능함, instance를 변경하고 싶을 때 EBS는 그대로 두고 instance만 변경 후 network를 변경하면 되서 간편함, 하나의 instan..
[AWS] AWS 알아보기 Part 5 - EC2 가격과 유형
2022. 6. 10. 01:46
AWS
2022.06.09. AWS 알아보기 Part 5 (EC2 가격과 유형) EC2 가격 정책 소개 - 가격 순서: Spot Instance < Reserved Instance < On-demand < Dedicated - EC2 price model은 EBS와는 별도임. EBS는 사용한 만큼 지불함. - 기타 data 통신 등의 비용은 별도로 청구됨. AWS는 AWS 바깥으로 나가는 traffic에 대해서만 요금을 부과함. On-demand - 실행하는 instance에 따라 시간 또는 초당 computing power로 측정된 가격을 지불함. - 약정은 필요 없음. - 주로 장기적인 수요 예측이 힘들거나 유연하게 EC2를 사용하고 싶은 경우, 혹은 한 번 써보고 싶은 경우 사용함. Spot Instanc..
[AWS] AWS 알아보기 Part 4 - EC2 소개 및 실습
2022. 6. 9. 03:15
AWS
2022.06.08. AWS 알아보기 Part 4 (EC2 소개 및 실습) EC2(Elastic Compute Cloud) 정의 - 안전하고 크기 조정이 가능한 computing power를 cloud에서 제공하는 web service - 개발자가 더 쉽게 web 규모의 cloud computing 작업을 할 수 있도록 설계되어, computing resource에 대한 포괄적인 제어권을 제공함. 사용 예시 - server를 구축할 때 (ex. game server, web server, application server) - application을 사용하거나 hosting할 때 (ex. DB, ML, bitcoin 채굴, 연구용 program) - 기타 목적 (ex. graphic rendering, ..