til

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 10일 차] 데이터 엔지니어링 : 파이썬으로 웹 데이터를 크롤하고 분석하기 (5)

시각화 라이브러리, Seaborn 스크래핑의 결과는 대부분 텍스트로 이루어져 있다. 그런데 텍스트 만으로 확인하기에는 인사이트를 얻기에 무리가 있다. 이러한 정보를 요약해서 한눈에 보여주는 방법으로 시각화(Visualization)를 활용한다. Seaborn 라이브러리 matplotlib을 기반으로 하는 시각화 라이브러리이다. 다양한 그래프를 고수준(high-level) 즉, 짧은 코드로도 품질 좋은 시각화를 진행할 수 있다. Seaborn 설치 및 불러오기 %pip install seaborn import seaborn as sns 꺾은선 그래프(Line Plot) lineplot을 통해 꺾은선 그래프를 그릴 수 있다. sns.lineplot(x=[1, 3, 2, 4], y=[4, 3, 2, 1]) 막..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 9일 차] 데이터 엔지니어링 : 파이썬으로 웹 데이터를 크롤하고 분석하기 (4)

브라우저 자동화하기, Selenium Selenium 라이브러리 Selenium은 Python을 이용해 웹 브라우저를 조작할 수 있는 자동화 프레임워크이다. Selenium, Web Driver 설치 Selenium 프레임워크와 웹 브라우저와 연동하기 위한 WebDriver를 설치한다. WebDriver는 웹 브라우저를 제어할 수 있는 자동화 프레임워크로, 이 실습에서는 Chrome을 기준으로 진행한다. %pip install selenium %pip install webdriver-manager WebDriver의 Chrome() 객체 생성 from selenium import webdriver from selenium.webdriver.chrome.service import Service from w..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 8일 차] 데이터 엔지니어링 : 파이썬으로 웹 데이터를 크롤하고 분석하기 (3)

HTML을 분석해 주는 BeautifulSoup BeautifulSoup 라이브러리 지난 실습에서 requests 모듈을 이용해 HTTP 요청을 보내고, 응답을 받았다. 그런데 res.body의 결과를 확인했을 때, 긴 텍스트 형식이라서 분석하기 힘들었다. 이를 해결하기 위해 HTML 코드를 분석해 주는 HTML Parser를 사용할 수 있는데, 가장 유명한 것이 BeautifulSoup4이다. BeautifulSoup4 설치 %pip install bs4 requests 모듈로 데이터 받기 # www.example.com 사이트를 요청한 후 응답 받아보기 import requests res = requests.get("https://www.example.com") res.text bs4 선언 및 사용 ..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 7일 차] 데이터 엔지니어링 : 파이썬으로 웹 데이터를 크롤하고 분석하기 (2)

인터넷 사용자 간의 약속, HTTP 컴퓨터 한 대에서 Web까지 컴퓨터 존재 두 컴퓨터를 연결하는 "네트워크(Network)"의 탄생 네트워크를 묶어 근거리 지역 "네트워크(Local Area Network, LAN)" 탄생 LAN을 묶어 범지구적으로 연결된 네트워크, "인터넷(Inter Network, Internet)" 탄생 웹이란 인터넷에서 정보를 교환할 수 있는 환경, "WWW(World Wide Web, Web)" 탄생 Web 상에서 정보를 주고받는 방법 클라이언트(Client) : 정보를 요청하는 컴퓨터 서버(Server) : 정보를 제공하는 컴퓨터 클라이언트가 서버에게 정보 요청 요청에 대해서 서버가 작업 수행 수행한 작업의 결과를 클라이언트에게 응답 HTTP(Hypertext Transfe..

기억에 남는 블로그 닉네임
'til' 태그의 글 목록 (15 Page)