데이터 엔지니어링 데브코스 수료 후기서론데이터 엔지니어링 데브코스 지원 후기를 작성한 게 엊그제 같은데.. 벌써 5개월 간의 교육이 마무리되었다. 데이터 분야로 진로를 설정하고, 대학교 휴학을 결정한 뒤 데이터 엔지니어링 교육을 듣게 되었는데 처음엔 불안감이 있었다. 약 한 학기 동안 하나의 분야에 집중하여 진행했으나 원하던 방향과 다를 경우 시간을 날린 것이 아닌가 하는 불안감이다. 시작 전만 하더라도 데이터 엔지니어링이 무엇을 공부하고, 어떤 일을 진행하는지 정도는 알았지만, 정확히 어떤 프레임워크를 활용해 작업한다던지, 구체적인 작업에 대해서는 알지 못했기 때문에 이런 생각이 들었던 것 같다. 그러나 지금 생각해 보면, 이 분야는 나의 적성에 딱 맞다는 생각과 교육을 듣기 정말 잘했다는 생각이 든다..
프로젝트에서 발생했던 오류 정리이번 데브코스에서 프로젝트를 진행하면서 발생했던 오류와 해결 과정을 정리해보려고 한다. 나는 Airflow의 DAG를 작성하는 역할을 맡았기에 데이터를 S3, Redshift에 저장하는 과정에서 에러를 마주치게 되었다.S3에 저장한 csv 열었을 때 한글 깨짐문제 발생API를 통해 데이터를 가져와 데이터 프레임 형태로 만들고, S3에 csv로 저장해 주었다. 에러가 발생하지 않아서 올바르게 작동하나 싶었지만, aws 웹 콘솔로 접속해서 S3의 파일을 직접 열었을 때 한글이 깨지는 것을 확인할 수 있었다. 영어와 숫자는 제대로 나오기 때문에 인코딩-디코딩 과정에서 오류가 있을 것이라 생각했다.문제 해결결론적으로 구글링을 많이 해봤지만, S3의 파일을 다운로드하고 열었을 때 한..
서론 데브코스 : 데이터 엔지니어링을 수강하면서 동적 웹 스크래핑을 진행하기 위한 Selenium 라이브러리를 배웠다. 강의에서 배운 내용을 다시 한번 활용해 보며, 익숙해지기 위해 해당 프로젝트(?)를 진행하였다. 단지 몇 시간 동안 들은 강의이고, 웹 관련 배경 지식이 없기 때문에 올바른 코드인지 확신할 수는 없지만, 강의 내용을 복습하는 것에 의의를 두려고 한다. 그래서 진행할 프로젝트는 무난하게 진행할 수 있는 영화 사이트의 리뷰를 스크래핑 및 시각화이다. 작성한 코드를 설명하고, 왜 해당 코드를 작성하였는지 설명하는 방식으로 진행할 것이다. 개발 환경 : Colab - Python 라이브러리 : Selenium, wordcloud, matplotlib, seaborn, collections, k..
오리엔테이션 출석체크 온라인 강의(프로그래머스 스쿨) : 해당 날짜에 휴대폰 본인인증 및 강의 듣기(둘 다 시간은 관계 X) 실시간 강의(줌, 프로젝트) : hrd-net 앱을 통해 수업시작, 수업 끝 QR 출석체크 오프라인 강의(강남 강의장) : hrd-net 앱을 통해 수업시작, 수업끝 QR 출석체크 지각, 조퇴 입실을 늦게 했을 경우 지각 퇴실을 일찍 했을 경우 조퇴 지각, 조퇴 3회 = 1일 결석 온라인 수강을 100% 미만으로 했을 경우 수업시간의 50%를 수강해야 지각 및 조퇴 처리 결석 입실 or 퇴실 중 하나라도 안했을 경우 수업시간의 50% 미만으로 참여했을 경우 무단결석 과제를 기간 내에 제출하지 않았을 경우 온라인 본인인증을 하지 않았을 경우 인정받을 수 있는 결석 예비군 또는 민방위..
