전체 글

데이터 엔지니어링, 자동화에 관심을 갖고 공부 중입니다.
프로젝트 단위 공부/[개인 프로젝트] 공모전 크롤링

[개인 프로젝트] 공모전 크롤링 (11) - 데이터 스크래핑, 디자인 마무리

이전에 검색어가 포함된 제목을 가진 공모전을 찾아 페이지네이션 형태로 제공하도록 기능을 추가하였다. 이번에는 공모전 데이터가 오류 없이 모두 스크래핑되는지 확인하고, 웹페이지 디자인 마무리 작업을 진행하려 한다. [개인 프로젝트] 공모전 크롤링 (10) - 세부 페이지(검색 기능, 페이지네이션)이전에 세부 페이지 html 파일을 작성하고, 메인 페이지에서 검색을 진행하면 해당 데이터를 받을 수 있도록 작성하였다. 이번에는 검색어가 포함된 제목을 가진 공모전을 찾아 페이지네이션 형sanseo.tistory.com데이터 스크래핑이전에 작성했던 코드로 플랫폼 별 데이터 수집을 진행하였다. 실행한 코드는 다음과 같다. if __name__ == "__main__": title, url, applicatio..

기타/취업 & 진로

제 41회 ADsP 준비 과정 및 후기

개요ADsP(Advanced Data Analytics Semi-Professional)는 데이터 분석 준전문가로 데이터 분석을 공부하는 사람이라면 모를 수 없는 자격증이다. 현재 분석이 아닌 데이터 엔지니어링을 공부 중이지만, 취득이 어렵지 않고 몇 안 되는 데이터 관련 자격증 중 하나이기 때문에 공부를 하게 되었다. 데이터자격시험데이터분석 준전문가 자격시험은 실기시험은 없으며 필기시험은 PBT(Paper Based Test) 방식으로 자격을 검정하며, 필기시험 합격기준 요건을 충족하면 최종합격자로 분류되어 데이터 분석 준전문가www.dataq.or.krADsP 합격률합격률이 높다는 것은 알고 있었지만, 60%가 넘을 줄은 몰랐다. 그만큼 난이도가 어렵지 않다는 것을 알 수 있었다..합격률은 아래 사이..

프로젝트 단위 공부/[개인 프로젝트] 공모전 크롤링

[개인 프로젝트] 공모전 크롤링 (10) - 세부 페이지(검색 기능, 페이지네이션)

이전에 세부 페이지 html 파일을 작성하고, 메인 페이지에서 검색을 진행하면 해당 데이터를 받을 수 있도록 작성하였다. 이번에는 검색어가 포함된 제목을 가진 공모전을 찾아 페이지네이션 형태로 제공하도록 기능을 추가할 것이다. [개인 프로젝트] 공모전 크롤링 (9) - 세부 페이지(검색, 더보기)이전에  스크래핑한 데이터를 csv로 저장하는 작업과 임시로 표시해 뒀던 부분에 수집한 데이터를 바탕으로 실제 공모전의 제목과 날짜가 표시되도록 하였다. 이번에는 세부 페이지 html 파일을sanseo.tistory.com검색 기능 & 페이지네이션검색 기능과 페이지네이션을 구현하면서 같은 부분을 수정하였기 때문에 함께 설명하려고 한다.mainpage > views.py페이지네이션 적용을 위한 라이브러리가 있어 활..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 35일 차] 데이터 웨어하우스 관리와 고급 SQL과 BI 대시보드 (5)

대시보드 소개와 구현다양한 시각화 툴 소개시각화 툴이란?대시보드 또는 BI(Business Intelligence) 툴이라고 부른다. KPI(Key Performance Indicator), 지표, 중요한 데이터 포인트를 데이터 기반으로 계산/분석/표시해 주는 툴이다. 현업 종사자들이 데이터 분석을 쉽게 할 수 있도록 해주며, 결정권자들이 데이터 기반 의사결정을 가능하게 한다.데이터 기반 결정 (Data-Driven Decision) vs 데이터 참고 결정 (Data-Informed Decision)시각화 툴Excel, Google SpreadsheetPythonLooker (구글)2012년 미국 캘리포니아 산타크루즈에서 시작하였고 구글이 2019년 6월에 $2.6B에 인수LookML이 자체 언어로 데이..

기억에 남는 블로그 닉네임
얕게, 깊게