이력서 & 포트폴리오 작성 방법졸업을 준비하면서 취업에 대한 고민도 깊어지고 있다. 그래서 이력서와 포트폴리어를 정리해두려고 하는데, 이전에 ICT 인턴십을 지원했을 때 3개 모두 떨어졌던 전적이 있기에 작성 방법에 대해 먼저 알고자 하였다. 이를 위해 교내의 컨설턴트 상담을 받았다. 교내 상담을 통해 ICT 인턴십에서 사용했던 이력서와 포트폴리오에 대한 피드백받은 내용을 정리 키워드 중심으로 정리하려고 한다. 당근 썸머테크 인턴십, ICT 학점연계 인턴십 지원 과정과 결과데브코스를 통해 데이터 엔지니어링에 대한 지식을 쌓았으니 실무에서의 경험도 쌓고 싶었다. 그래서 하반기에 진행되는 당근 썸머테크 인턴십, ICT 학점연계 인턴십에 지원하였다. 지원 서류sanseo.tistory.com서론지금까지 이력서..
DAG를 작성하는 세 가지 방법Airflow에서 실행시키기 위한 DAG를 작성하는 방법은 세 가지가 존재한다. 세 가지 방식의 차이점과 DAG 선언 방식에 따른 장점과 단점을 알아보려 한다. 공식 문서를 참고하여 작성하였다.Airflow DAGs 공식 문서표준 생성자 (constructor) 사용설명DAG 객체를 명시적으로 생성하고, 각 Operator (Task)를 DAG에 추가하는 방식DAG 생성자는 파라미터를 통해 dag_id, start_date, schedule, default_arg 등을 설정장단점장점명시적이기 때문에 코드 이해가 쉽고, DAG 설정을 한눈에 파악할 수 있음DAG에 여러 Operator를 추가하거나 Task 흐름을 정의하기 수월 DAG Factory를 구현할 경우, 반복적인 D..
데이터 수집을 위한 웹 크롤링 방법ML 모델링, 대시보드 제작 등 여러 이유로 웹 사이트를 크롤링해야 하는 상황이 생긴다. 물론 Python의 BeautifulSoup나 Selenium을 사용하면 크롤링이 가능하지만, 여기서는 "추출 방법"보다는 "추출 링크를 찾는 것"에 초점을 맞춰보려고 한다. 특정 페이지에서 원하는 정보를 가져오는 링크나 API를 찾을 수 있으면, 더 간단하고 빠르게 데이터를 추출할 수 있다. 정적/동적 페이지와 정적/동적 수집의 특징, API에 대해 먼저 살펴보고 싶다면, 아래 링크를 참고하면 된다. [Web/Python] 동적(Dynamic)/정적(Static) 수집 방법 비교서론 BeautifulSoup과 Selenium은 웹 스크래핑/크롤링하는 데 사용되는 Python 라이브..
