데이터 수집을 위한 웹 크롤링 방법ML 모델링, 대시보드 제작 등 여러 이유로 웹 사이트를 크롤링해야 하는 상황이 생긴다. 물론 Python의 BeautifulSoup나 Selenium을 사용하면 크롤링이 가능하지만, 여기서는 "추출 방법"보다는 "추출 링크를 찾는 것"에 초점을 맞춰보려고 한다. 특정 페이지에서 원하는 정보를 가져오는 링크나 API를 찾을 수 있으면, 더 간단하고 빠르게 데이터를 추출할 수 있다. 정적/동적 페이지와 정적/동적 수집의 특징, API에 대해 먼저 살펴보고 싶다면, 아래 링크를 참고하면 된다. [Web/Python] 동적(Dynamic)/정적(Static) 수집 방법 비교서론 BeautifulSoup과 Selenium은 웹 스크래핑/크롤링하는 데 사용되는 Python 라이브..
이전에 메인 페이지 html/css 작업까지 완료하였다. 이번에는 스크래핑한 데이터를 csv로 저장하는 작업과 임시로 표시해 뒀던 부분에 실제 공모전의 제목과 날짜가 표시되도록 할 것이다. [개인 프로젝트] 공모전 크롤링 (7) - 메인 페이지 (프론트)이전에 씽굿을 스크래핑하고 저장하는 작업을 진행하였다. 데이터 수집까지 모두 완료되었으므로 이제 프론트 작업을 진행한다. 이번에는 메인페이지의 코드를 작성할 것이다. [개인 프로젝트sanseo.tistory.com스크래핑 데이터를 csv로 저장이전에 작성했던 스크래핑 저장 코드는 직접적으로 데이터베이스에 저장하는 방식으로 작성되었다. 그런데 외부 데이터베이스가 아닌 내부 데이터베이스를 쓰기 때문에 만약 다른 사용자가 사용할 때, 무조건 스크래핑 작업을 거..
이전에 씽굿을 스크래핑하고 저장하는 작업을 진행하였다. 데이터 수집까지 모두 완료되었으므로 이제 프론트 작업을 진행한다. 이번에는 메인페이지의 코드를 작성할 것이다. [개인 프로젝트] 공모전 크롤링 (6) - 데이터 수집 (스크래핑) - 씽굿이전에 위비티 사이트를 스크래핑하고 데이터를 저장하는 작업을 진행하였다. 마지막으로 씽굿을 스크래핑하고 저장하는 작업을 진행할 것이다. [개인 프로젝트] 공모전 크롤링 (5) - 데이터 수sanseo.tistory.com메인 페이지계획서에 작성했던 메인 페이지 형태는 다음과 같다. 지금보니 Flatform이 아니라 Platform인데.. 오타가 있었다. 헤더, 검색, 공모전으로 구역을 나누고 공모전을 또 세 부분으로 나누어 코드를 작성하면 될 것이다. 이전에 테스트만..
서론 BeautifulSoup과 Selenium은 웹 스크래핑/크롤링하는 데 사용되는 Python 라이브러리이다. 두 개 모두 웹 페이지 정보를 얻기 위해 사용되는데, 언제 BeautifulSoup/Selenium을 사용해야 하는지 판단하기가 어려웠다. 이를 해결하기 위해 동적/정적 웹 페이지와 수집 방법의 개념을 이해하고, 각 라이브러리는 어떤 차이가 있는지 확인해보려고 한다. 동적 vs 정적 beautifulsoup와 selenium 사용을 구분하는 가장 중요한 요소는 "동적(dynamic)"과 "정적(static)"이다. 웹 페이지 웹 페이지는 생성될 때 HTML 내용이 고정된 "정적 웹 사이트"와 HTML 내용이 변하는 "동적 웹 사이트"로 구분한다. 정적 웹 페이지 정적 웹 페이지란 서버에 미리..
