![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbXeIuP%2FbtrLKbPy4wD%2FdA7QiQY4LhSlgHnwrQYUKk%2Fimg.png)
[Python, 웹 스크래핑] 서버의 문제로 로그인에 실패하였을 때 내 맘대로 해결해보기 (Feat. Selenium)
2022. 9. 8. 17:32
카테고리 없음
2022.09.08 [Python, 웹 스크래핑] 서버의 문제로 로그인에 실패하였을 때 내 맘대로 해결해보기 (Feat. Selenium) Python에서 Selenium 라이브러리와 Requests 라이브러리를 사용하여 '쿠팡 윙'에서 데이터 수집을 자동화하고 있었습니다. Selenium 라이브러리를 사용하여 로그인을 진행해서 쿠키를 얻은 후, Requests 라이브러리를 사용하여 데이터를 수집하는 방식이었습니다. 그런데 저번 주까지는 문제 없이 돌아가던 코드가 오늘 다시 실행하니까 로그인 과정 중에 에러가 발생하는 것을 확인하였습니다. 확인해보니 로그인 과정에서 다음과 같은 문제가 생기는 것을 알 수 있었습니다. 로그인 자체를 실패 로그인에는 성공하였지만 메인 화면이 아닌 에러 화면으로 튕김 ID/P..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbB3MeB%2FbtrLJtclLdV%2FC3JIdRZcYKSGn2sI5CvtWk%2Fimg.png)
[HTML/CSS] 티스토리 블로그의 폰트 바꾸기
2022. 8. 21. 10:55
카테고리 없음
2022.08.21 [HTML/CSS] 티스토리 블로그의 폰트 바꾸기 이전부터 저의 티스토리 블로그를 예쁘게 꾸미고 싶은 마음은 굴뚝 같았으나, 그동안은 회사 일이 바빠 신경을 쓰지 못하고 있었습니다. 그런데 이번 주말에 모처럼 시간이 나서 그동안 미뤄왔던 티스토리 블로그를 예쁘게 꾸며보기로 하였습니다. 티스토리의 HTML/CSS 편집창에 들어가기 왼쪽 하단의 톱니바퀴 모양의 '설정'을 눌러줍니다. 왼쪽 메뉴에서 '스킨 편집'을 눌러줍니다. 그럼 다음과 같은 화면이 뜹니다. 상단에 보면 세 가지 모양의 아이콘이 있습니다. 여기서 첫 번째 아이콘은 PC 화면, 두 번째 아이콘은 태블릿 화면, 세 번째 아이콘은 휴대폰 화면을 나타냅니다. 셋 중에 확인하고 싶은 기기의 화면을 클릭하면 HTML/CSS 편집을 ..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FU0rzO%2FbtrJryzOh7y%2FzEKCAvLOjUafwQwUqSKeh0%2Fimg.png)
[Airflow] Documentation 해석하며 내 맘대로 Windows에서 Local로 Airflow 실행하기 (Feat. WSL Ubuntu)
2022. 8. 11. 22:07
카테고리 없음
2022.08.11 [Airflow] Documentation 해석하며 내 맘대로 Windows에서 Local로 Airflow 실행하기 (Feat. WSL Ubuntu) 학부 과정에서 진행한 프로젝트는 데이터의 볼륨이 크지 않기 때문에 크론탭만 이용하여도 충분하였지만, 데이터 엔지니어로서 복잡하고 볼륨이 큰 데이터를 자동화하여 수집하기 위해서는 workflow 관리 플랫폼인 Airflow가 필요합니다. 그래서 오늘은 Airflow의 documentation을 해석하며 제 마음대로 Airflow를 공부하고 실행해보려 합니다. 설치 과정 중에 시행착오를 겪은 내용들도 모두 글에 같이 담아냈기 때문에, 글을 읽으면서 제가 겪은 과정들을 따라하시기보다는 그냥 끝까지 한 번 쭉 읽어보시기를 추천드립니다. Airf..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fw1dnO%2FbtrLJWZRFqc%2Fen9hiKZLtc0cXlJyqt7Rh0%2Fimg.jpg)
[Python, API] Cafe24를 통해 알아보는 OAuth 2.0 기반의 API 호출 방법 (Part 2)
2022. 7. 27. 22:52
카테고리 없음
2022.07.27 [Python, API] Cafe24를 통해 알아보는 OAuth 2.0 기반의 API 호출 방법 (Part 1) [Python, API] Cafe24를 통해 알아보는 OAuth 2.0 기반의 API 호출 방법 (Part 2) (현재 글) 이전 글에서는 인증 코드를 발급받는 것까지 진행하였습니다. 이번 글에서는 액세스 토큰을 발급받는 것과 액세스 토큰을 이용하여 API를 호출하는 것까지 진행해보겠습니다. Cafe24 개발자센터 (API) https://developers.cafe24.com/ 카페24 개발자센터 카페24 오픈 API를 활용해 쇼핑몰 운영자를 대상으로 앱 비즈니스 기회를 창출할 수 있습니다. developers.cafe24.com 인증 코드로 액세스 토큰 발급받기 앞서 발..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Ftmdxy%2FbtrIiKmyUbM%2FpH7uRz3NWMQFF8LlZWivB0%2Fimg.jpg)
[Python, API] Cafe24를 통해 알아보는 OAuth 2.0 기반의 API 호출 방법 (Part 1)
2022. 7. 26. 22:57
카테고리 없음
2022.07.26 [Python, API] Cafe24를 통해 알아보는 OAuth 2.0 기반의 API 호출 방법 (Part 1) (현재 글) [Python, API] Cafe24를 통해 알아보는 OAuth 2.0 기반의 API 호출 방법 (Part 2) Cafe24는 국내에서 가장 많은 사람들이 이용하는 전자상거래 플랫폼입니다. 그래서 API 호출 방법에 대한 안내가 굉장히 자세하게 나와있는데요. 오늘은 Cafe24에서 직접 데이터를 가져와보며 OAuth 2.0 기반의 API 호출 방법에 대해 알아보도록 하겠습니다. Cafe24 개발자센터 (API) https://developers.cafe24.com/ 카페24 개발자센터 카페24 오픈 API를 활용해 쇼핑몰 운영자를 대상으로 앱 비즈니스 기회를 창..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FR9vHd%2FbtrLMw6yKS9%2F4IHq2xkUOoMHocEuvB5FQ0%2Fimg.png)
[GCP] 가장 쉬운 방법으로 GCP의 BigQuery 처음 사용해보기
2022. 7. 14. 12:12
카테고리 없음
2022.07.14 [GCP] 가장 쉬운 방법으로 GCP의 BigQuery 처음 사용해보기 데이터 엔지니어 직무의 경우, 테이블이 중첩된 형태의 복잡한 데이터를 다룰 때가 많습니다. 그럴 때는 RDBMS를 사용하기 보다는 클라우드의 데이터 웨어하우스를 사용하면 매우 편리하게 데이터를 다룰 수가 있는데요. 그중에서도 요즘 떠오르고 있는 GCP의 BigQuery를 이용하면 정말 편리하고 적은 비용으로 데이터를 저장하고 분석할 수 있습니다! 오늘은 많은 분들이 BigQuery의 편리함을 알게 되기를 바라는 마음으로 GCP의 BigQuery를 가장 쉽게 사용해 볼 수 있는 방법을 소개해드리겠습니다. GCP BigQuery https://cloud.google.com/bigquery BigQuery: 클라우드 데..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FchCMw9%2FbtrG1yH43Yp%2FU5SOOAv45CWkAag5tLM1f0%2Fimg.png)
[Fiddler] Fiddler에 트래픽이 보이지 않을 때 해결 방법
2022. 7. 11. 14:08
카테고리 없음
2022.07.11 [Fiddler] Fiddler에 트래픽이 보이지 않을 때 해결 방법 원래는 네트워크를 추적할 때 크롬에서 'F12'를 누르면 나오는 '개발자 도구'를 주로 이용하였습니다. 그런데 크롬의 개발자 도구는 가끔 Response에 아무것도 보이지 않는다는 문제점이 있었습니다. (Postman에서는 보이는 Response가 크롬 개발자 도구에서는 안 보이더라고요.) 찾아보니 Firefox나 웹 디버깅 툴인 Fiddler를 사용하면 이러한 문제를 해결할 수 있다고 하였습니다. 그래서 이참에 전부터 사용해보고 싶었던 Fiddler를 사용해보기로 결심하였습니다. 그렇게 설치까지 완료하였는데 일이 너무 바빠 잠시 잊고 있다가 오늘 사용해보려고 다시 실행하니까 Fiddler에 트래픽이 아무것도 보이지..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fk97yt%2FbtrLNwZBb1Z%2FiWLrDF0nAjk9Mf5dbYB8Fk%2Fimg.jpg)
[코딩테스트 - Python] 프로그래머스 Lv.1 문제 피드백 모음 (3)
2022. 7. 1. 23:45
코딩테스트
2022.07.01 프로그래머스 Lv.1 쉬운 문제들 피드백 모음 (3) '문자열 내 p와 y의 개수' 문제 나의 답안 def solution(s): compare = 0 for i in s: if i in ['p', 'P']: compare += 1 elif i in ['y', 'Y']: compare -= 1 if compare == 0: return True else: return False 모범 답안 def solution(s): return s.lower().count('p') == s.lower().count('y') '문자열 내림차순으로 배치하기' 문제 나의 답안 def solution(s): low, up, answer = [], [], '' for i in s: if i.islower()..
[코딩테스트, Python] 프로그래머스 Lv.1 쉬운 문제들 피드백 모음 (2)
2022. 6. 27. 16:12
코딩테스트
2022.06.27 프로그래머스 Lv.1 쉬운 문제들 피드백 모음 (2) '[1차] 비밀지도' 문제 나의 답안 def solution(n, arr1, arr2): answer = [""]*n for i in range(n): map1, map2 = [0]*n, [0]*n map1_place, map2_place = n-1, n-1 while (arr1[i]): map1[map1_place] = arr1[i] % 2 arr1[i] = arr1[i] // 2 map1_place -= 1 while (arr2[i]): map2[map2_place] = arr2[i] % 2 arr2[i] = arr2[i] // 2 map2_place -= 1 for j in range(n): if map1[j] == 1 or ..
[코딩테스트, Python] 프로그래머스 Lv.1 쉬운 문제들 피드백 모음 (1)
2022. 6. 26. 17:30
코딩테스트
2022.06.26 프로그래머스 Lv.1 쉬운 문제들 피드백 모음 (1) '없는 숫자 더하기' 문제 나의 답안 def solution(numbers): num = [1,2,3,4,5,6,7,8,9,0] answer = 0 for i in num: if i not in numbers: answer += i return answer 모범 답안 def solution(numbers): return 45 - sum(numbers) 너무나 간결한 코드.. 왜 이렇게는 생각을 못했을까? '내적' 문제 나의 답안 def solution(a, b): answer = 0 for i in range(len(a)): answer += a[i]*b[i] return answer 모범 답안 def solution(a, b): ..