TIL (2024-08-05 ~ 2024-08-09)
2024-08-05 (월)
오늘 한 일
- EC2에 Metabase 구축
- Ubuntu에 Docker 설치 (참고 링크, 공식 문서)
- Docker에 Metabse 구축 (참고 링크)
- Metabase 웹 접속을 위한 인바운드 그룹에 3000 포트 추가 (참고 링크)
- 미인증 중개소의 매물 개수 테이블 생성 및 시각화
- 미인증 중개소의 매물 개수를 나타내는 테이블 생성
- 생성한 테이블을 바탕으로 시각화 진행
- 작성했던 create_transformed_and_analytics_table DAG에 해당 테이블 쿼리 추가 및 테스트 완료
미인증 중개소 매물 개수 시각화
- AI Model 학습을 위한 테이블 쿼리 작성
- 컬럼 : 매물 ID, 층 수, 면적, 편의시설 종류 개수, 보증금, 월세, 관리비, 지역구, 판매 여부
- 컬럼은 변경될 수 있으나 회의를 통해 1차적으로 결정
- 아직 transformed.sold (판매 여부 컬럼이 포함)가 생성되지 않아, 이후에 테스트 가능
내일 할 일
- AI Model 학습을 위한 테이블 구체화
- 회의를 통해 학습을 위한 컬럼 조정
- 결정된 컬럼이 포함된 테이블 생성 쿼리 작성
- 추가할 테이블 생각 및 쿼리, DAG 작성, 시각화
2024-08-06 (화)
오늘 한 일
- transformed.property_sold_status 테이블 생성
- 판매 여부 컬럼이 포함된 transformed.model_data 테이블을 생성하기 위한위한 테이블
- 컬럼 : 매물 ID, 층 수, 면적, 보증금, 월세, 관리비, 주소, 각 편의시설 개수(총 6개의 컬럼)
- transformed.model_data 테이블 생성 쿼리 작성 완료
- 컬럼 : 매물 ID, 층 수, 면적, 보증금, 월세, 관리비, 지역구, 편의시설 종류 개수, 판매 여부
- 층 수는 저, 중, 고, 반지하, 옥탑으로 구분하며, 지역구는 서울만 필터링
- 추가로 생성된 테이블의 ERD 작성
- raw_data 이후 생성된 스키마 (transformed, analytics)의 테이블을 ERD로 표현
- 판매 여부 확인을 위해 raw_data.zigbang 테이블에 update_at 컬럼 추가
- load_merge_table_table_to_redshift_and_rds DAG 수정
- 다방, 직방 데이터 처리 시간은 약 2 ~ 3시간 정도 소요
- 데이터 처리 이후 실행되도록 schedule_interval을 UTC 기준 매일 4시에서 매일 6시로 변경
- create_transformed_and_analytics_table DAG 수정
- 각 테이블의 집계(count) 함수에 CAST를 적용하여 데이터 타입을 integer로 적용
- property_having_all_facility 테이블의 용도에 맞게 이름을 ~_count로 수정
- 테이블 형태의 변경에 따른 Metabase 수정 완료
내일 할 일
- Redshift 데이터 리니지 작성
- 프로젝트의 최종 목표는 서비스 구현
- 분석 프로젝트는 아니기에 데이터 디스커버리는 사용하지 않는 방향으로 진행
- 테이블 수가 많지 않기에 데이터 리니지를 수작업으로 작성
2024-08-07 (수)
오늘 한 일
- Redshift -> RDS 적재 시 room_id에 title이 적재되는 에러 수정
- title에 줄바꿈(\n)이 포함되어 있는 경우가 있음
- RDS LOAD 시 하나의 line을 줄바꿈으로 구분하기 때문에 에러 발생
- REPLACE를 활용해 RDS LOAD 전 줄바꿈을 '. '으로 변경 (참고 링크)
- 머신러닝을 활용한 예측을 위해 RDS 테이블에 status 컬럼 추가
- ALTER TABLE / ADD COLUMN을 활용해 LOAD된 테이블에 status 컬럼 추가
- 현재 생성한 테이블의 데이터 리니지 작성
데이터 리니지
- 프로젝트 보고서 목차 작성
- 프로젝트 개요 : 주제, 목표, 역할 분담, 활용 기술 및 프레임워크
- 프로젝트 내용 : 인프라 아키텍처, 데이터 수집 및 활용, 머신러닝, 웹서비스
- 마무리 : 결론, 기대효과, 회고
내일 할 일
- 나의 작업은 모두 끝났기에 도움이 필요한 팀원의 작업 지원
2024-08-08 (목)
오늘 한 일
- 마일스톤 작성을 위한 google sheet 제작
마일스톤
- 최종 결과 보고서 작성
- 프로젝트 개요 작성 : 개요의 틀을 마련하고, 알고 있는 선에서 모두 작성
- 개인 작업 내용 작성 : ERD & 데이터 리니지, 데이터 병합, ELT 및 대시보드 제작 (검토 필요)
- load_merge_table_table_to_redshift_and_rds DAG 수정
- status 컬럼 추가를 위해 ALTER TABLE을 활용했지만, 다시 실행하니 중복 컬럼 에러 발생
- 이를 해결하기 위해 ALTER TABLE ~ DROP COLUMN을 활용
- status 컬럼 삭제 후 LOAD, LOAD 후 status 컬럼을 다시 생성하도록 변경
내일 할 일
이번 주에 진행한 일, 다음 주에 진행할 일
이번 주에 진행한 일
- 웹 서버 EC2 내 Docker 및 Metabase 구축
- 미인증 중개소의 매물 개수 테이블 생성 및 시각화
- AI 학습 테이블 생성 완료
- transformed.property_sold_status 테이블 생성
- 판매 여부 컬럼이 포함된 transformed.model_data 테이블을 생성하기 위한위한 테이블
- 컬럼 : 매물 ID, 층 수, 면적, 보증금, 월세, 관리비, 주소, 각 편의시설 개수(총 6개의 컬럼)
- transformed.model_data 테이블 생성
- 컬럼 : 매물 ID, 층 수, 면적, 보증금, 월세, 관리비, 지역구, 편의시설 종류 개수, 판매 여부
- 층 수는 저, 중, 고, 반지하, 옥탑으로 구분하며, 지역구는 서울만 필터링
- 프로젝트 마무리
- 생성한 테이블을 바탕으로 Redshift 데이터 리니지 제작
- 구글 시트를 활용해 마일스톤 제작
- 프로젝트 최종 보고서 목차 작성
다음 주에 진행할 일
- 프로젝트 마무리 및 발표 준비
- 마일스톤 작성
- 프로젝트 최종 보고서 내용 작성
- PPT 제작
