Redshift에 생성된 Schema와 Table 정보 확인 방법Schema 정보 확인 방법Schema 정보 확인 Query확인 가능한 정보 : nspname, nspowner, nspaclselect * from pg_namespace;Table 정보 확인 방법Table 정보 확인 Query확인 가능한 정보 : database, schema, table_id, table, encoded, diststyle, sortkey1, max_varchar 등아래 이미지에는 4개의 정보만 가져온 것select * from svv_table_info;각 Column의 데이터 타입 확인 QuerySELECT column_name, data_typeFROM information_schema.columnsWHERE ..
프로덕션 데이터베이스 & 데이터 웨어하우스프로덕션 데이터베이스와 데이터 웨어하우스는 대표적인 관계형 데이터베이스이다. 같은 종류의 데이터베이스이지만, 기능 / 용도가 다르기 때문에 서로 다른 목적을 위해 사용된다. 이러한 프로덕션 데이터베이스와 데이터 웨어하우스의 개념과 사용 목적, 차이점을 알아보자.프로덕션 데이터베이스 (Production Database)개념프로덕션 데이터베이스는 사용자에게 정보를 제공하기 위해 사용하는 데이터베이스로 처리 용량보다 처리 속도가 중요시한다.대표적인 데이터베이스 : MySQL, PostgreSQL, Oracle 등OLTP (Online Transaction Process)프로덕션 데이터베이스는 OLTP에 속한다. OLTP는 온라인 뱅킹, 쇼핑, 주문 입력, 텍스트 메시..
프로젝트 설명 및 회고프로젝트 소개깃허브 링크이번 프로젝트에서는 개발 부분이 없었기 때문에 깃허브를 활용하지는 않았다. 대신에 Readme.md에 프로젝트 내용을 정리하였고, preset의 chart / dashboards / databases / datasets를 .yaml로 export 하여 업로드하였다. GitHub - ss721229/dev-2-2Contribute to ss721229/dev-2-2 development by creating an account on GitHub.github.com진행 기간2024.05.13 ~ 2024.05.17 (5일)주제서울시 상권 분석 대시보드프로젝트 인원 구성총 4명서울시 소득/소비 데이터 가공 및 시각화, 인프라 구성서울시 점포 관련 데이터 가공 및 시..
데이터 파이프라인 문제점 해결하기41일 차 강의를 들으면서 간단한 파이썬 데이터 파이프라인 실습을 진행하였다. 그런데 몇 가지 문제점이 존재하는데, Extract / Transform / Load 함수 중에 Load 함수를 수정하면 해결된다. [TIL - 41일 차] 데이터 파이프라인과 Airflow (1)데이터 파이프라인(ETL) 소개데이터 파이프라인(ETL) 이란?Data Pipeline = ETL = Data Workflow = DAG(Directed Acyclic Graph)ELT : Extract(데이터 다운로드), Transform(데이터 포맷 변경), Load(데이터 적재)DAG : Airflow에서sanseo.tistory.com문제점불필요한 헤더 : ['name', 'gender']까지 ..
