2022.07.14
[GCP] 가장 쉬운 방법으로 GCP의 BigQuery 처음 사용해보기
데이터 엔지니어 직무의 경우, 테이블이 중첩된 형태의 복잡한 데이터를 다룰 때가 많습니다.
그럴 때는 RDBMS를 사용하기 보다는 클라우드의 데이터 웨어하우스를 사용하면 매우 편리하게 데이터를 다룰 수가 있는데요.
그중에서도 요즘 떠오르고 있는 GCP의 BigQuery를 이용하면 정말 편리하고 적은 비용으로 데이터를 저장하고 분석할 수 있습니다!
오늘은 많은 분들이 BigQuery의 편리함을 알게 되기를 바라는 마음으로 GCP의 BigQuery를 가장 쉽게 사용해 볼 수 있는 방법을 소개해드리겠습니다.
GCP BigQuery
https://cloud.google.com/bigquery
BigQuery: 클라우드 데이터 웨어하우스 | Google Cloud
BigQuery는 비용 효율성을 갖춘 서버리스 멀티 클라우드 데이터 웨어하우스로, 빅데이터에서 가치 있고 유용한 비즈니스 정보를 얻을 수 있도록 설계되었습니다. 무료로 시작해 보세요.
cloud.google.com
GCP의 공개 데이터 세트 사용하기
BigQuery 공개 데이터세트 | Google Cloud
BigQuery 공개 데이터세트 | Google Cloud
의견 보내기 BigQuery 공개 데이터세트 공개 데이터 세트는 BigQuery에 저장된 모든 데이터 세트이며 Google Cloud 공개 데이터 세트 프로그램을 통해 일반 대중에게 제공됩니다. 공개 데이터세트는 사
cloud.google.com
BigQuery를 이용하기 위해서는 일단 데이터가 필요합니다.
수집한 데이터를 이용할 수도 있지만, 오늘은 간단하게 GCP의 공개 데이터를 이용해보도록 하겠습니다.
GCP의 공개 데이터를 이용하기 위해 먼저 위의 링크로 들어가주세요.
'Cloud Marketplace에서 데이터 세트로 이동'을 클릭해줍니다.
탐색하고 싶은 데이터를 자유롭게 선택해주세요!
저는 'COVID-19 Open Data'를 선택했습니다.
선택한 데이터를 클릭하면 이러한 화면이 나옵니다.
여기서 밑으로 스크롤을 쭉 내려주세요.
그러면 다음과 같은 Sample Queries 목록이 나옵니다.
데이터에 따라 Sample Query의 개수가 다른데요. 가장 흥미로운 내용의 쿼리를 하나 선택하여 'Run this query'를 클릭해주세요!
저는 '6월 말일 기준 각 나라별 얼마나 많은 코로나 환자가 있는지'에 대한 쿼리를 선택해서 클릭해 주었습니다.
BigQuery로 쿼리하고 결과 데이터 탐색하기
이제 BigQuery로 연결되어 쿼리까지 자동으로 작성된 화면을 확인할 수 있습니다.
여기서 '실행'을 클릭해주세요.
그러면 다음과 같이 쿼리가 실행된 결과를 확인할 수 있습니다!
이로써 데이터를 이용하여 쿼리를 실행하는 것까지 성공하였습니다!
그 다음 단계는 쿼리를 실행한 후의 결과를 바탕으로 데이터를 탐색하고 시각화하는 것입니다.
데이터를 탐색하고 시각화하는 데에는 데이터 스튜디오, 구글 시트, 태블로 등 다양한 방법을 활용해 볼 수 있는데요.
오늘은 그중에서 가장 간단하게 사용해 볼 수 있는 데이터 스튜디오와 구글 시트에서의 활용 방법을 소개해드리겠습니다!
데이터 스튜디오로 탐색하기
쿼리를 실행한 결과에서 '데이터 탐색'을 클릭하고 '데이터 스튜디오로 탐색'을 클릭해줍니다.
짜잔! 그러면 다음과 같이 시각화된 자료가 자동으로 생성되어 나온 것을 확인할 수 있습니다.
데이터 스튜디오를 다양하게 활용해 볼 수 있는 방법은 너무나도 많은데요.
그 방법들은 나중에 따로 포스팅하여 설명해드리도록 하겠습니다!
구글 시트에서 탐색하기
이번에는 구글 드라이브로 옮긴 후 구글 시트에서 데이터를 탐색해보도록 하겠습니다.
아까 쿼리를 실행한 결과에서 '결과 저장'을 클릭하고 'CSV(Google Drive)'를 클릭해주세요
그러면 구글 드라이브에 데이터가 저장됩니다.
그 다음에는 '연결 앱'을 클릭하고 'Google 스프레드 시트'를 클릭해주세요.
그러면 구글 스프레드 시트에서 바로 데이터를 확인할 수 있습니다.
그리고 탐색하고 싶은 데이터의 범위를 선택한 후 왼쪽 하단의 '탐색' 버튼을 클릭해주세요.
그러면 다음과 같이 데이터를 탐색할 수 있게 됩니다!
이로써 GCP의 BigQuery를 이용하여 데이터를 탐색하는 과정을 모두 성공하였습니다!!
요약
GCP의 BigQuery를 이용하면 편리하게 데이터를 쿼리 및 탐색할 수 있다.