2022.06.21. AWS에서 청구된 돈 환불받기 https://minjoooo.tistory.com/29 [AWS] AWS에서 Glue 잠깐 사용하고 8만원 청구된 이야기 (Feat. 예산 설정) 2022.06.21. AWS에서 Glue 잠깐 사용하고 8만원 청구된 이야기 (Feat. 예산 설정) 이번 달에는 실습하다가 비용 청구된 적이 없어 맘 놓고 청구서 확인을 하지 않다가, 혹시 비용이 청구되지는 않았는지 minjoooo.tistory.com 잠깐 사용했는데 3일 동안 켜두었단 이유로 Glue Endpoint에서 8만원이 청구되었다. 아예 사용하지 않은 것은 아니라 고민하다가, 그래도 8만원은 꽤 큰 돈이라 환불받고 싶어 고객센터에 문의하기로 하였다. AWS 고객센터에 문의하여 청구 비용 환불받..

2022.06.21. AWS에서 Glue 잠깐 사용하고 8만원 청구된 이야기 (Feat. 예산 설정) 이번 달에는 실습하다가 비용 청구된 적이 없어 맘 놓고 청구서 확인을 하지 않다가, 혹시 비용이 청구되지는 않았는지 하는 걱정에 (사실 걱정 안 하고 있었다) 루트 사용자로 로그인하였는데 무려 사용하지도 않은 Glue에서 8만원이 청구된 것을 확인하였다.. 너무 놀라서 '모두 확장'을 눌러 내용을 확인하니 'Glue Endpoint'에서 54.18달러가 청구된 것을 확인하였다... 바로 IAM 계정으로 로그인해서 'Glue Endpoint'에 들어가보니, 저번에 생성하고 잠깐 사용한 'SageMaker 노트북'이 켜져있는 것을 확인하였다.. 무려 2일 19시간 59분 동안 켜져있던 상태.. 처음에는 중지..

2022.06.20. AWS에서 분석 플랫폼 구축 실습 Part 4 (PySpark 실습과 오류 해결) Learning Objectives (학습 목표) - Glue Dev Endpoints와 SageMaker Notebook을 사용하여 interactively(대화식으로) Glue ETL script를 author(작성)하는 방법 이해 - Boto3를 사용해 Glue API를 call(호출)하여 Glue를 administrative(관리) 및 operational(운영) 활동 수행 Import Libraries - 사용할 class 중에서 중요한 것들만 소개함. - SparkContext: Spark functionality(기능)의 주요 entry point. SparkContext는 Spark cl..

2022.06.19. AWS에서 분석 플랫폼 구축 실습 Part 3 (Glue Dev Endpoint, Jupyter Notebook) Part 3 실습 목표 실습 목표 - Glue ETL을 사용하여 data를 처리하고 다시 S3에 저장 - Glue 개발 Endpoint와 Sagemaker Notebook을 사용하여 data 변환 단계를 진행 Create 'Glue Dev Endpoint' 목표 - PySpark를 사용하여 Glue ETL script를 대화식으로 개발하기 위해 Glue Dev Endpoint를 생성 Create 'Glue Dev Endpoint' - 'Glue' console로 이동 => 왼쪽 패널에서 'Dev endpoints' 클릭 => '엔드포인트 추가' 클릭 - '개발 엔드포인트..

2022.06.18. AWS에서 분석 플랫폼 구축 실습 Part 2 (IAM Role, Glue Crawlers, Athena) Part 2 실습 목표 실습 목표 - Glue Data Catalog에 data set를 등록 - Glue Crawlers의 도움으로 meta data capture를 자동화 - catalog entity가 생성되면 Amazon Athena에서 data의 raw format의 data에 대해 query를 시작 IAM 계정에 권한 부여 목표 - 새 AWS Glue service role을 생성 => 이를 통해 AWS Glue는 S3에 저장된 data에 access하고 Glue data catalog에서 필요한 entity를 생성할 수 있음 IAM 계정에 권한 부여 - 'IAM' ..