TIL (2024-07-15 ~ 2024-07-19)2024-07-15 (월)주제 및 나의 역할주제 : 조건 별 "원룸/투룸" 추천 웹 서비스나의 역할 : ERD 설계 및 ELT오늘 한 일간단히 만들어 본 서비스 형태생각나는 대로 작성진행한 모델링직방에서는 편의시설 정보를 따로 제공하지 않아 이에 대한 해결 방안을 찾아 스키마를 변경해야 함 (NearByFacilities)AgencyDetails 테이블은 찾은 csv 파일을 토대로 컬럼을 추가해야 함(데이터 모델링은 처음 해봐서 걱정했는데, 팀원 분들이 나쁘지 않다고 하셔서 안도의 한숨을..)고민 사항편의시설 데이터를 어떻게 채워 넣을 것인가?다방 : 크롤링을 통해 주변 편의시설의 상호명과 거리, 개수 등의 정보 추출 가능직방 : 크롤링을 통해 가장 가..
프로젝트 설명 및 회고프로젝트 소개깃허브 링크 GitHub - lv1turtle/tourist_visitation_patterns_by_weatherContribute to lv1turtle/tourist_visitation_patterns_by_weather development by creating an account on GitHub.github.com진행 기간2024.06.10 ~ 2024.06.14 (5일)주제기상에 따른 관광지 방문 현황 파악프로젝트 인원 구성총 4명Airflow 서버 환경 구축, Github Action 작성한국관광공사 관광지 방문자 수 API 데이터 추출 DAG 작성ERD 작성, dbt를 활용한 ELT 구축기상청 관광지 날씨 정보 API 데이터 추출 DAG 작성나의 역할한국..
DBT (Data Build Tool)DBT SeedsDBT SeedsDimension 테이블을 csv 파일 형태로 DW로 로드하는 방법Dimension 테이블은 크기가 작고 많이 변하지 않음dbt seed를 실행해서 빌드DBT Seeds 실습learn_dbt/seeds 디렉터리에 reference_date.csv 파일 생성dbt seed 실행dbt seedDBT SourcesStaging 테이블을 만들 때 입력 테이블이 자주 바뀌면, models의 .sql 파일을 일일이 바꿔야 함이 번거로움을 Sources를 활용해 입력 테이블에 별칭을 주고 별칭을 staging 테이블에서 사용Sources처음 입력이 되는 ETL 테이블을 대상으로 함별칭 제공최신 레코드 체크 기능 제공테이블 이름에 별명(alias)을..
materialized type 변경model의 matrerializad type에는 View, Table, CTE 등이 존재View : SELECT 결과를 기반으로 만들어진 가상테이블CTE : WITH - AS와 같이 사용된 뒤 사라지는 테이블Table : 실제 물리적인 테이블 "models/analytics/analytics_variant_user_daily.sql"을 예시로 type을 변경하는 작업 진행dbt_projct.yml을 수정해서 변경 analytics_variant_user_daily.sql을 수정해서 변경초기 상태dbt_project.ymldbt 프로젝트 이름은 learn_dbtdim 디렉터리 내부의 .sql은 table로 생성src 디렉터리 내부의 .sql은 ephemeral(CTE)..
