웹 크롤링을 위한 Fiddler와 Postman 설치 및 사용법웹 크롤링을 진행할 때, 일반적으로 관리자 도구(F12)를 사용하는 경우가 많다. 단순히 웹에서 제공하는 기능이 아닌 관련 프레임워크를 사용하면 더 효율적으로 데이터 수집이 가능하다. 그래서 Fiddler와 Postman에 관해 소개해보려고 한다. 설치 및 사용법 기준은 모두 Window 운영체제를 기준으로 진행한다.웹 디버깅을 위한 Fiddler 소개 및 설치Fiddler 소개 및 기능FiddlerHTTP 프로토콜을 사용하는 브라우저 및 응용 프로그램을 디버깅할 수 있는 디버거Classic, Everywhere, Cap, Core 총 4개의 버전을 제공하며, 버전 별로 특징과 가격이 다름웹 크롤링을 진행하기 위한 수단으로 관리자 도구와 비슷..
데이터 수집을 위한 웹 크롤링 방법ML 모델링, 대시보드 제작 등 여러 이유로 웹 사이트를 크롤링해야 하는 상황이 생긴다. 물론 Python의 BeautifulSoup나 Selenium을 사용하면 크롤링이 가능하지만, 여기서는 "추출 방법"보다는 "추출 링크를 찾는 것"에 초점을 맞춰보려고 한다. 특정 페이지에서 원하는 정보를 가져오는 링크나 API를 찾을 수 있으면, 더 간단하고 빠르게 데이터를 추출할 수 있다. 정적/동적 페이지와 정적/동적 수집의 특징, API에 대해 먼저 살펴보고 싶다면, 아래 링크를 참고하면 된다. [Web/Python] 동적(Dynamic)/정적(Static) 수집 방법 비교서론 BeautifulSoup과 Selenium은 웹 스크래핑/크롤링하는 데 사용되는 Python 라이브..
강의평(★★★☆☆) 어휘나 맞춤법이 영어를 한국어로 번역해 작성한 것 같은 느낌이라 어색한 부분이 있음 대부분 영상이 아닌 글과 사진을 통해 진행되며, 해당 주제의 요약본을 보는 듯한 느낌 강의의 난이도는 "입문"이지만, 데이터에 무지한 사람이 본다면 이해하기가 힘들 것 같음 모든 내용을 이해한다기보다는 "이런 것들을 공부해야 하는구나!"처럼 가볍게 접근하면 좋을 것 같음 내용이 어렵고 따분하다 보니 중간에 멈추고 싶다는 생각이 많이 듦 느낀 점 파이썬을 활용한 데이터 전처리를 시작으로 확률통계, 하둡, 스파크, 쿠버네티스, 데이터 분석 등 데이터에 대한 거의 모든 내용을 담고 있는 강의였다. 강의평에 적었듯이 요약본에 가까운 느낌이었기에 공부를 하는데 크게 재미를 느끼지 못했고, 어렵다는 느낌만 크게 ..
서문 좋은 데이터와 통찰력 있는 스토리텔링은 직관적이다. 데이터 스토리텔링은 분석적 발견을 효과적으로 전달하기 위한 투자이다. 데이터가 영향력 있는 이야기를 위한 핵심이라는 것을 알고 있지만, 어떻게 전달할지 이해하는 사람은 많지 않다. 데이터 + 스토리텔링 + 디자인 = 데이터 스토리텔링 데이터 - 데이터를 얻는 방법 공개 데이터 미국인구조사국 유럽 연합 개방형 데이터 포털 Datacatalog.org NHS 보건 및 사회 복지 정보 센터 아마존 웹 서비스 공공 데이터셋 구글 파이낸스 픽토차트 데이터베이스 비공개 데이터 페이스북 인사이트 메일침프 애널리틱스 구글 애널리틱스 스토리텔링 - 버즈스모의 다섯 가지 핵심 이야기 트렌트 파악하기 트렌드는 어떤 것이 변화하거나 발전하는 보편적인 방향을 가리키는 지..
