웹크롤링

Web

[Web/Python] 동적(Dynamic)/정적(Static) 수집 방법 비교

서론 BeautifulSoup과 Selenium은 웹 스크래핑/크롤링하는 데 사용되는 Python 라이브러리이다. 두 개 모두 웹 페이지 정보를 얻기 위해 사용되는데, 언제 BeautifulSoup/Selenium을 사용해야 하는지 판단하기가 어려웠다. 이를 해결하기 위해 동적/정적 웹 페이지와 수집 방법의 개념을 이해하고, 각 라이브러리는 어떤 차이가 있는지 확인해보려고 한다. 동적 vs 정적 beautifulsoup와 selenium 사용을 구분하는 가장 중요한 요소는 "동적(dynamic)"과 "정적(static)"이다. 웹 페이지 웹 페이지는 생성될 때 HTML 내용이 고정된 "정적 웹 사이트"와 HTML 내용이 변하는 "동적 웹 사이트"로 구분한다. 정적 웹 페이지 정적 웹 페이지란 서버에 미리..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 7일 차] 데이터 엔지니어링 : 파이썬으로 웹 데이터를 크롤하고 분석하기 (2)

인터넷 사용자 간의 약속, HTTP 컴퓨터 한 대에서 Web까지 컴퓨터 존재 두 컴퓨터를 연결하는 "네트워크(Network)"의 탄생 네트워크를 묶어 근거리 지역 "네트워크(Local Area Network, LAN)" 탄생 LAN을 묶어 범지구적으로 연결된 네트워크, "인터넷(Inter Network, Internet)" 탄생 웹이란 인터넷에서 정보를 교환할 수 있는 환경, "WWW(World Wide Web, Web)" 탄생 Web 상에서 정보를 주고받는 방법 클라이언트(Client) : 정보를 요청하는 컴퓨터 서버(Server) : 정보를 제공하는 컴퓨터 클라이언트가 서버에게 정보 요청 요청에 대해서 서버가 작업 수행 수행한 작업의 결과를 클라이언트에게 응답 HTTP(Hypertext Transfe..

기억에 남는 블로그 닉네임
'웹크롤링' 태그의 글 목록