데이터 리니지

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 4주차] 데브코스 최종 프로젝트

TIL (2024-08-05 ~ 2024-08-09)2024-08-05 (월)오늘 한 일EC2에 Metabase 구축Ubuntu에 Docker 설치 (참고 링크, 공식 문서)Docker에 Metabse 구축 (참고 링크)Metabase 웹 접속을 위한 인바운드 그룹에 3000 포트 추가 (참고 링크)미인증 중개소의 매물 개수 테이블 생성 및 시각화미인증 중개소의 매물 개수를 나타내는 테이블 생성생성한 테이블을 바탕으로 시각화 진행작성했던 create_transformed_and_analytics_table DAG에 해당 테이블 쿼리 추가 및 테스트 완료AI Model 학습을 위한 테이블 쿼리 작성컬럼 : 매물 ID, 층 수, 면적, 편의시설 종류 개수, 보증금, 월세, 관리비, 지역구, 판매 여부컬럼은 ..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 55일 차] Airflow 고급기능과 DBT, 데이터 디스커버리 (5-2)

데이터 카탈로그 소개데이터 카탈로그 기능 정의데이터 카탈로그데이터 자산 메타 정보 중앙 저장소 / 데이터 자산의 효율적인 관리 프레임워크많은 회사에서 데이터 카탈로그를 데이터 거버넌스 툴로 사용하거나 데이터 카탈로그 위에 커스텀 기능을 구현다양한 관점에서 데이터를 조직적으로 관리비즈니스 / 데이터 용어 vs 태그태그 : 더 비공식적인 데이터 분류 방법비즈니스 용어 : 계층 구조 형태의 분류 체계를 따라감데이터 오너 (Business & Technical)표준화된 문서 템플릿데이터 카탈로그의 중요한 기능(반)자동화 된 메타 데이터 수집메타 데이터만 읽어오는 형태 : 실제 데이터 노출로 인한 보안 이슈 감소데이터 자산의 종류테이블 (데이터베이스)대시보드문서 / 메시지 (Slack, JIRA, Github 등..

기억에 남는 블로그 닉네임
'데이터 리니지' 태그의 글 목록