웹 크롤링을 위한 Fiddler와 Postman 설치 및 사용법웹 크롤링을 진행할 때, 일반적으로 관리자 도구(F12)를 사용하는 경우가 많다. 단순히 웹에서 제공하는 기능이 아닌 관련 프레임워크를 사용하면 더 효율적으로 데이터 수집이 가능하다. 그래서 Fiddler와 Postman에 관해 소개해보려고 한다. 설치 및 사용법 기준은 모두 Window 운영체제를 기준으로 진행한다.웹 디버깅을 위한 Fiddler 소개 및 설치Fiddler 소개 및 기능FiddlerHTTP 프로토콜을 사용하는 브라우저 및 응용 프로그램을 디버깅할 수 있는 디버거Classic, Everywhere, Cap, Core 총 4개의 버전을 제공하며, 버전 별로 특징과 가격이 다름웹 크롤링을 진행하기 위한 수단으로 관리자 도구와 비슷..
데이터 수집을 위한 웹 크롤링 방법ML 모델링, 대시보드 제작 등 여러 이유로 웹 사이트를 크롤링해야 하는 상황이 생긴다. 물론 Python의 BeautifulSoup나 Selenium을 사용하면 크롤링이 가능하지만, 여기서는 "추출 방법"보다는 "추출 링크를 찾는 것"에 초점을 맞춰보려고 한다. 특정 페이지에서 원하는 정보를 가져오는 링크나 API를 찾을 수 있으면, 더 간단하고 빠르게 데이터를 추출할 수 있다. 정적/동적 페이지와 정적/동적 수집의 특징, API에 대해 먼저 살펴보고 싶다면, 아래 링크를 참고하면 된다. [Web/Python] 동적(Dynamic)/정적(Static) 수집 방법 비교서론 BeautifulSoup과 Selenium은 웹 스크래핑/크롤링하는 데 사용되는 Python 라이브..
프로젝트 설명 및 회고프로젝트 소개깃허브 링크 GitHub - lv1turtle/Studio-Recommendation-Service: A web service that recommends a studio for people who start living alone usingA web service that recommends a studio for people who start living alone using a data pipeline - lv1turtle/Studio-Recommendation-Servicegithub.com진행 기간2024.07.15 ~ 2024.08.19 (약 1개월)진행 과정최종 프로젝트 1주차최종 프로젝트 2주차최종 프로젝트 3주차최종 프로젝트 4주차최종 프로젝트 5주차주제..
웹 서비스를 Docker로 실행해 보기학습 목표웹 서비스를 Docker로 구동해 보는 전체 과정 익히기hangman_web이라는 repo의 main에 코드가 머지될 때마다 다음을 수행Github repo의 Github Actions로 구현테스트 수행Docker Image 빌드Docker Image를 Docker Hub로 푸시Hangman 서비스Hangman 소개hangman_web github repo (미완성)hangman 프로그램을 flask를 사용하여 웹으로 노출포트번호는 어디든 바인딩 가능하며 실행할 때 지정flask 관련 모듈 설치 필요 (requirements.txt)실행 방법 : python3 -m flask run --host=0.0.0.0 --port=4000hangman_web 실행ht..
