웹 크롤링을 위한 Fiddler와 Postman 설치 및 사용법웹 크롤링을 진행할 때, 일반적으로 관리자 도구(F12)를 사용하는 경우가 많다. 단순히 웹에서 제공하는 기능이 아닌 관련 프레임워크를 사용하면 더 효율적으로 데이터 수집이 가능하다. 그래서 Fiddler와 Postman에 관해 소개해보려고 한다. 설치 및 사용법 기준은 모두 Window 운영체제를 기준으로 진행한다.웹 디버깅을 위한 Fiddler 소개 및 설치Fiddler 소개 및 기능FiddlerHTTP 프로토콜을 사용하는 브라우저 및 응용 프로그램을 디버깅할 수 있는 디버거Classic, Everywhere, Cap, Core 총 4개의 버전을 제공하며, 버전 별로 특징과 가격이 다름웹 크롤링을 진행하기 위한 수단으로 관리자 도구와 비슷..
데이터 수집을 위한 웹 크롤링 방법ML 모델링, 대시보드 제작 등 여러 이유로 웹 사이트를 크롤링해야 하는 상황이 생긴다. 물론 Python의 BeautifulSoup나 Selenium을 사용하면 크롤링이 가능하지만, 여기서는 "추출 방법"보다는 "추출 링크를 찾는 것"에 초점을 맞춰보려고 한다. 특정 페이지에서 원하는 정보를 가져오는 링크나 API를 찾을 수 있으면, 더 간단하고 빠르게 데이터를 추출할 수 있다. 정적/동적 페이지와 정적/동적 수집의 특징, API에 대해 먼저 살펴보고 싶다면, 아래 링크를 참고하면 된다. [Web/Python] 동적(Dynamic)/정적(Static) 수집 방법 비교서론 BeautifulSoup과 Selenium은 웹 스크래핑/크롤링하는 데 사용되는 Python 라이브..
프로젝트 설명 및 회고프로젝트 소개깃허브 링크 GitHub - ss721229/competition-webContribute to ss721229/competition-web development by creating an account on GitHub.github.com 진행 기간2024.04.25 ~ 2024.05.12 (18일)프로젝트 진행 과정 (링크)주제 "링커리어", "위비티", "씽굿"의 공모전을 한 페이지에서 확인할 수 있는 웹 제작프로젝트 인원 구성개인 프로젝트활용 기술 및 프레임워크Frontend : HTML, CSSBackend : Django (5.0.4), sqliteCrawling : beautifulsoup (4.12.3), selenium (4.20.0)Data-Proce..
이전에 검색어가 포함된 제목을 가진 공모전을 찾아 페이지네이션 형태로 제공하도록 기능을 추가하였다. 이번에는 공모전 데이터가 오류 없이 모두 스크래핑되는지 확인하고, 웹페이지 디자인 마무리 작업을 진행하려 한다. [개인 프로젝트] 공모전 크롤링 (10) - 세부 페이지(검색 기능, 페이지네이션)이전에 세부 페이지 html 파일을 작성하고, 메인 페이지에서 검색을 진행하면 해당 데이터를 받을 수 있도록 작성하였다. 이번에는 검색어가 포함된 제목을 가진 공모전을 찾아 페이지네이션 형sanseo.tistory.com데이터 스크래핑이전에 작성했던 코드로 플랫폼 별 데이터 수집을 진행하였다. 실행한 코드는 다음과 같다. if __name__ == "__main__": title, url, applicatio..
