데이터 엔지니어링

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 9일 차] 데이터 엔지니어링 : 파이썬으로 웹 데이터를 크롤하고 분석하기 (4)

브라우저 자동화하기, Selenium Selenium 라이브러리 Selenium은 Python을 이용해 웹 브라우저를 조작할 수 있는 자동화 프레임워크이다. Selenium, Web Driver 설치 Selenium 프레임워크와 웹 브라우저와 연동하기 위한 WebDriver를 설치한다. WebDriver는 웹 브라우저를 제어할 수 있는 자동화 프레임워크로, 이 실습에서는 Chrome을 기준으로 진행한다. %pip install selenium %pip install webdriver-manager WebDriver의 Chrome() 객체 생성 from selenium import webdriver from selenium.webdriver.chrome.service import Service from w..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 8일 차] 데이터 엔지니어링 : 파이썬으로 웹 데이터를 크롤하고 분석하기 (3)

HTML을 분석해 주는 BeautifulSoup BeautifulSoup 라이브러리 지난 실습에서 requests 모듈을 이용해 HTTP 요청을 보내고, 응답을 받았다. 그런데 res.body의 결과를 확인했을 때, 긴 텍스트 형식이라서 분석하기 힘들었다. 이를 해결하기 위해 HTML 코드를 분석해 주는 HTML Parser를 사용할 수 있는데, 가장 유명한 것이 BeautifulSoup4이다. BeautifulSoup4 설치 %pip install bs4 requests 모듈로 데이터 받기 # www.example.com 사이트를 요청한 후 응답 받아보기 import requests res = requests.get("https://www.example.com") res.text bs4 선언 및 사용 ..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 7일 차] 데이터 엔지니어링 : 파이썬으로 웹 데이터를 크롤하고 분석하기 (2)

인터넷 사용자 간의 약속, HTTP 컴퓨터 한 대에서 Web까지 컴퓨터 존재 두 컴퓨터를 연결하는 "네트워크(Network)"의 탄생 네트워크를 묶어 근거리 지역 "네트워크(Local Area Network, LAN)" 탄생 LAN을 묶어 범지구적으로 연결된 네트워크, "인터넷(Inter Network, Internet)" 탄생 웹이란 인터넷에서 정보를 교환할 수 있는 환경, "WWW(World Wide Web, Web)" 탄생 Web 상에서 정보를 주고받는 방법 클라이언트(Client) : 정보를 요청하는 컴퓨터 서버(Server) : 정보를 제공하는 컴퓨터 클라이언트가 서버에게 정보 요청 요청에 대해서 서버가 작업 수행 수행한 작업의 결과를 클라이언트에게 응답 HTTP(Hypertext Transfe..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 6일 차] 데이터 엔지니어링 : 파이썬으로 웹 데이터를 크롤하고 분석하기 (1)

윈도우 환경 실습 Visual Studio Code 사용 Explorer: Compact Folders 해제 빈 폴더의 경우에도 부모-자식 폴더를 직관적으로 구분 가능 Visual Studio Code 설정(Ctrl + ,)에 들어가 검색창에 'folder' 입력 Explorer: Compact Folders 체크 해제 추천 확장 프로그램 Material Icon Theme : 폴더, 파일 별로 구분 가능한 아이콘이 생김 Indent-rainbow : 들여 쓰기 정도에 따라 색깔로 구분 가능 Live Server : 웹 코드를 수정 시 즉각적으로 확인 가능 단축키 Alt + Shift + 방향키 : 해당 줄/드래그된 영역 복사 Ctrl + / : 해당 줄/드래그된 영역 주석 처리/해제 Ctrl + d :..

기억에 남는 블로그 닉네임
'데이터 엔지니어링' 태그의 글 목록 (24 Page)