프로젝트 설명 및 회고프로젝트 소개깃허브 링크 GitHub - lv1turtle/Studio-Recommendation-Service: A web service that recommends a studio for people who start living alone usingA web service that recommends a studio for people who start living alone using a data pipeline - lv1turtle/Studio-Recommendation-Servicegithub.com진행 기간2024.07.15 ~ 2024.08.19 (약 1개월)진행 과정최종 프로젝트 1주차최종 프로젝트 2주차최종 프로젝트 3주차최종 프로젝트 4주차최종 프로젝트 5주차주제..
데이터 엔지니어링 데브코스 수료 후기서론데이터 엔지니어링 데브코스 지원 후기를 작성한 게 엊그제 같은데.. 벌써 5개월 간의 교육이 마무리되었다. 데이터 분야로 진로를 설정하고, 대학교 휴학을 결정한 뒤 데이터 엔지니어링 교육을 듣게 되었는데 처음엔 불안감이 있었다. 약 한 학기 동안 하나의 분야에 집중하여 진행했으나 원하던 방향과 다를 경우 시간을 날린 것이 아닌가 하는 불안감이다. 시작 전만 하더라도 데이터 엔지니어링이 무엇을 공부하고, 어떤 일을 진행하는지 정도는 알았지만, 정확히 어떤 프레임워크를 활용해 작업한다던지, 구체적인 작업에 대해서는 알지 못했기 때문에 이런 생각이 들었던 것 같다. 그러나 지금 생각해 보면, 이 분야는 나의 적성에 딱 맞다는 생각과 교육을 듣기 정말 잘했다는 생각이 든다..
TIL (2024-08-12 ~ 2024-08-16)이번 주는 큰 변경 사항 없이 프로젝트 보고서 작성과 PPT 제작을 위한 회의를 중심으로 진행하였다. 그래서 회의 중 내가 작업하는 부분에서의 변경 및 추가 사항에 대해서 작성해보려 한다.변경 및 추가 사항모델 정확도 추세 그래프 추가AI Model(Random Forest)를 활용한 모델링 DAG 작성이 마무리 (다른 팀원 분의 작업)하루에 한 번씩 학습이 진행되기에 어느 모델의 정확도가 가장 높은지 확인할 수 있도록 제작ERD에 집 방향 컬럼 추가 (링크)다방, 직방에 집 방향(direction) 컬럼이 추가되어 사용자에게 해당 내용을 제공추가로 AI 학습 데이터에도 이 부분을 적용하여 더 높은 정확도를 기대할 수 있음
TIL (2024-08-05 ~ 2024-08-09)2024-08-05 (월)오늘 한 일EC2에 Metabase 구축Ubuntu에 Docker 설치 (참고 링크, 공식 문서)Docker에 Metabse 구축 (참고 링크)Metabase 웹 접속을 위한 인바운드 그룹에 3000 포트 추가 (참고 링크)미인증 중개소의 매물 개수 테이블 생성 및 시각화미인증 중개소의 매물 개수를 나타내는 테이블 생성생성한 테이블을 바탕으로 시각화 진행작성했던 create_transformed_and_analytics_table DAG에 해당 테이블 쿼리 추가 및 테스트 완료AI Model 학습을 위한 테이블 쿼리 작성컬럼 : 매물 ID, 층 수, 면적, 편의시설 종류 개수, 보증금, 월세, 관리비, 지역구, 판매 여부컬럼은 ..
