웹스크래핑

프로젝트 단위 공부/[개인 프로젝트] 공모전 크롤링

[개인 프로젝트] 공모전 크롤링 (3) - mainpage (App 연동, Model 생성)

이전에 가상환경과 장고 프로젝트 생성까지 완료하였다. 이번에는 mainpage App을 구축하고 ERD를 토대로 Model migraion을 진행할 것이다. [개인 프로젝트] 공모전 크롤링 (2) - 가상환경 및 초기 설정, git remote이전에 공모전 크롤링을 진행할 계획을 마련하였다. 이번에는 프로젝트를 진행할 가상환경과 장고를 세팅하고, github와 연동하는 작업을 진행한다. [개인 프로젝트] 공모전 크롤링 (1) - 계획서sanseo.tistory.com장고 mainpage App 구축mainpage App 연동로컬 페이지에서 mainpage를 띄우기 위한 작업을 하나씩 진행한다.mainpage App 생성아래의 명령어를 실행하면 아래 사진과 같이 mainpage App이 생성된다.pytho..

프로젝트 단위 공부/[개인 프로젝트] 공모전 크롤링

[개인 프로젝트] 공모전 크롤링 (2) - 가상환경 및 초기 설정, git remote

이전에 공모전 크롤링을 진행할 계획을 마련하였다. 이번에는 프로젝트를 진행할 가상환경과 장고를 세팅하고, github와 연동하는 작업을 진행한다. [개인 프로젝트] 공모전 크롤링 (1) - 계획서이전에 Selenium을 배우고 나서 복습 겸 영화 사이트 스크래핑을 진행했었다. 이번에는 Django로 가져온 데이터를 웹으로 제공하는 프로젝트를 진행해보고자 한다. 계획서를 시작으로 기능을 하나sanseo.tistory.com파이썬 가상환경 설정 및 초기 설정파이썬에서 가상환경을 설정하고, 장고를 다운로드하는 것은 아래 링크를 참고하면 된다. [Web] Visual Studio Code에서 장고(Django) 사용장고(Django)가 설치되어 있지 않다면, 아래 링크에서 설치 과정을 확인할 수 있으니 먼저 진..

프로젝트 단위 공부/[개인 프로젝트] 공모전 크롤링

[개인 프로젝트] 공모전 크롤링 (1) - 계획서

이전에 Selenium을 배우고 나서 복습 겸 영화 사이트 스크래핑을 진행했었다. 이번에는 Django로 가져온 데이터를 웹으로 제공하는 프로젝트를 진행해보고자 한다. 계획서를 시작으로 기능을 하나씩 추가하여 완성도를 높일 것이다. 추가로 github 사용에 익숙해지기 위해 개인 프로젝트이지만, 최대한 활용해보려고 한다. 여유롭게 진행할 계획이고, 데브코스에서 다음 프로젝트가 진행되기 전(5/12) 까지 완료하는 것이 목표이다. ss721229/competition-webContribute to ss721229/competition-web development by creating an account on GitHub.github.com프로젝트 계획주제여러 공모전 사이트(링커리어, 위비티 등)의 대회를 ..

Web

[Web/Python] 동적(Dynamic)/정적(Static) 수집 방법 비교

서론 BeautifulSoup과 Selenium은 웹 스크래핑/크롤링하는 데 사용되는 Python 라이브러리이다. 두 개 모두 웹 페이지 정보를 얻기 위해 사용되는데, 언제 BeautifulSoup/Selenium을 사용해야 하는지 판단하기가 어려웠다. 이를 해결하기 위해 동적/정적 웹 페이지와 수집 방법의 개념을 이해하고, 각 라이브러리는 어떤 차이가 있는지 확인해보려고 한다. 동적 vs 정적 beautifulsoup와 selenium 사용을 구분하는 가장 중요한 요소는 "동적(dynamic)"과 "정적(static)"이다. 웹 페이지 웹 페이지는 생성될 때 HTML 내용이 고정된 "정적 웹 사이트"와 HTML 내용이 변하는 "동적 웹 사이트"로 구분한다. 정적 웹 페이지 정적 웹 페이지란 서버에 미리..

기억에 남는 블로그 닉네임
'웹스크래핑' 태그의 글 목록 (4 Page)