2022.06.05. AWS 알아보기 Part 3 (Virtualization, HVM) Virtualization(가상화) 정의 - 단일 computer의 HW 요소를 일반적으로 virtual machine(VM)이라고 하는 다수의 가상 computer로 분할할 수 있도록 해주는 기술 - 하나의 computer를 여러 computer로 분할해주는 것임. 아래 사진을 보면 virtualization 전에는 computer 3대를 써야 하지만, virtualization 후에는 computer 1대만 써도 되어서 resource를 효율적으로 manage할 수 있음. OS와 Virtualization이 등장하기 전 - OS: system HW 자원과 SW 자원을 운영 관리하는 program (ex. Wind..

2022.06.04. AWS 알아보기 Part 2 (AWS 계정, Root user, IAM user, MFA 설정) AWS 계정 소개 - 처음 계정을 생성할 때 본인 명의 신용카드가 필요함. - 계정을 처음 생성하면 root user와 기본 resource(기본 VPC) 등이 생성됨. Root user - 계정 생성시 만든 e-mail 주소로 log-in - 생성한 계정의 모든 권한을 자동으로 가지고 있음. - 탈취당했을 때 복구가 매우 힘듦 => 사용을 자제하고 MFA 설정이 필요함 - root user는 관리용으로만 이용하는 것이 좋음 (ex. 계정 설정 변경, billing) - AWS API 호출 불가 => AccessKey, Secret AccessKey 부여가 불가함 IAM(Identity ..

2022.06.03. AWS 알아보기 Part 1 (Cloud Computing, Global Service, Region, Availability Zone) Cloud Computing 정의 - IT resource를 internet을 통해 on-demand(수요에 따라)로 제공하고 사용한 만큼만 비용을 지불하는 것 Cloud의 장점 - 초기 비용이 적고, 대규모로 server를 운영하기 때문에 운영 비용이 저렴함. - 가변적으로 용량을 사용할 수 있어 용량 추정이 필요 없음. - 유지보수가 쉬움. Cloud Computing 유형 Application 구성 - Application - OS (Windows/Linux) - Computing (CPU + RAM) - Storage (HDD/SSD) - ..

2022.05.31. Hadoop, Spark 알아보기 Hadoop? Spark? Hadoop - HDFS(Hadoop Distributed File System)와 MapReduce로 구성됨. HDFS는 분산 저장이 가능한 data 저장소이고, MapReduce는 분산 처리 기술임. - 여러 대의 server에 data를 저장하고, 저장된 각 server에서 동시에 data를 처리하는 방식 - 특징 Distributed: 수십만 대의 컴퓨터에 자료 분산 저장 및 처리 Scalable: 용량이 증대되는대로 컴퓨터 추가 Fault-tolerant: 하나 이상의 컴퓨터가 고장나는 경우에도 system이 정상 동작 Open source Hadoop을 사용하는 이유 - hard disk drive 용량이 엄청나..

2022.05.30. GFS, MapReduce, Hadoop 알아보기 GFS? MapReduce? Hadoop? GFS(Google File System) 2003년 Google에서 발표됨. 이전에 Google에서 사용하던 file system은 Big File이었는데, data가 급격히 늘어남에 따라 핵심 data 저장소와 검색 engine을 위해 최적화된 file system이 필요하게 됨. 하나의 master node와 여러 개의 slave node로 구성됨. 기능으로 보면 master, chunk server, client로 이루어져 있음. master는 GFS 전체를 관리하고 통제하는 중앙 server의 역할이고, chunk server는 물리적인 server로 실제 입출력을 처리하고, cli..