TIL (2024-08-12 ~ 2024-08-16)이번 주는 큰 변경 사항 없이 프로젝트 보고서 작성과 PPT 제작을 위한 회의를 중심으로 진행하였다. 그래서 회의 중 내가 작업하는 부분에서의 변경 및 추가 사항에 대해서 작성해보려 한다.변경 및 추가 사항모델 정확도 추세 그래프 추가AI Model(Random Forest)를 활용한 모델링 DAG 작성이 마무리 (다른 팀원 분의 작업)하루에 한 번씩 학습이 진행되기에 어느 모델의 정확도가 가장 높은지 확인할 수 있도록 제작ERD에 집 방향 컬럼 추가 (링크)다방, 직방에 집 방향(direction) 컬럼이 추가되어 사용자에게 해당 내용을 제공추가로 AI 학습 데이터에도 이 부분을 적용하여 더 높은 정확도를 기대할 수 있음
TIL (2024-08-05 ~ 2024-08-09)2024-08-05 (월)오늘 한 일EC2에 Metabase 구축Ubuntu에 Docker 설치 (참고 링크, 공식 문서)Docker에 Metabse 구축 (참고 링크)Metabase 웹 접속을 위한 인바운드 그룹에 3000 포트 추가 (참고 링크)미인증 중개소의 매물 개수 테이블 생성 및 시각화미인증 중개소의 매물 개수를 나타내는 테이블 생성생성한 테이블을 바탕으로 시각화 진행작성했던 create_transformed_and_analytics_table DAG에 해당 테이블 쿼리 추가 및 테스트 완료AI Model 학습을 위한 테이블 쿼리 작성컬럼 : 매물 ID, 층 수, 면적, 편의시설 종류 개수, 보증금, 월세, 관리비, 지역구, 판매 여부컬럼은 ..
TIL (2024-07-29 ~ 2024-08-02)2024-07-29 (월)오늘 한 일ELT보다 웹 서비스 제작을 우선적으로 지원하여 제작하기로 결정현재 프론트 디자인은 완료되었고, Request/Response 작업은 다른 팀원 분이 진행VPC, RDS 구축이 이루어지면 RDS와 Server를 연결하는 작업 진행(RDS 구축 이후 웹 서비스 제작 이전에 S3 -> RDS 벌크 업데이트 테스트부터 해야 함)웹 제작 지원 (Frontend)메인 페이지와 보증금, 월세를 입력받는 페이지 디자인 (React)웹 제작 지원 (Server)을 위한 작성된 코드 리딩Server 쪽에서 지원할 사항은 RDS 연결과 프론트 - 백엔드 디버깅지원을 위한 django 웹 서버 코드 리딩RDS와 연결하는 방법 탐색 + ...
TIL (2024-07-22 ~ 2024-07-26)2024-07-22 (월)오늘 한 일AWS Glue + Redshift Spectrum 공부 및 사용 여부 재결정Redshift Spectrum 지원에 따라 두 서비스를 이용해서 진행하는 것으로 결정다방, 직방의 테이블이 중복으로 적재되지 않아 공간적인 이점이 있음그러나 외부 테이블을 사용하므로 비교적 시간이 오래 걸림서비스의 역할Glue : S3에 적재된 다방, 직방 데이터를 Crawler로 가져옴Redshift Spectrum : Glue에서 크롤링한 테이블을 외부 테이블로 사용해 병합 테이블 생성부동산 중개업자 데이터 수집저번 주(7/19)에 selenium으로 다운로드까지 되도록 코드 작성Lambda로 Selenium으로 사용하려고 시도했지만 실..
