대시보드 소개와 구현다양한 시각화 툴 소개시각화 툴이란?대시보드 또는 BI(Business Intelligence) 툴이라고 부른다. KPI(Key Performance Indicator), 지표, 중요한 데이터 포인트를 데이터 기반으로 계산/분석/표시해 주는 툴이다. 현업 종사자들이 데이터 분석을 쉽게 할 수 있도록 해주며, 결정권자들이 데이터 기반 의사결정을 가능하게 한다.데이터 기반 결정 (Data-Driven Decision) vs 데이터 참고 결정 (Data-Informed Decision)시각화 툴Excel, Google SpreadsheetPythonLooker (구글)2012년 미국 캘리포니아 산타크루즈에서 시작하였고 구글이 2019년 6월에 $2.6B에 인수LookML이 자체 언어로 데이..
Snowflake 운영과 관리Snowflake 특징 소개Snowflake 소개2014년에 클라우드 기반 데이터 웨어하우스로 시작하였고, 지금은 데이터 클라우드라고 부를 정도로 발전하였다. 글로벌 클라우드(AWS, GCP, Azure)에서 모두 동작하며, ETL과 다양한 데이터 통합 기능을 제공한다.Snowflake 특징 (1)스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델SQL 기반으로 빅데이터 저장, 처리, 분석을 가능하게 해 줌비구조화된 데이터 처리와 머신러닝 기능도 제공CSV, JSON, Avro, Parquet 등과 같은 다양한 데이터 포맷 지원배치 데이터 중심이지만 실시간 데이터 처리 지원Time Travel : 과거 데이터 쿼리 기능으로 트렌드를 분석하기 쉽게 해 줌웹 콘솔 이외에도..
Redshift 고급 기능 실습Redshift 권한과 보안사용자별로 권한을 설정하면 복잡하고 실수의 가능성이 높기 때문에 일반적으로 사용자별, 테이블별 권한은 설정하지 않는다. 따라서 역할(Role) 혹은 그룹(Group) 별, 스키마별로 권한을 주는 것이 일반적이다. 개인정보와 연관된 테이블이라면 일부 사람만 접근할 수 있도록 별도 스키마를 설정한다.사용자별 테이블 권한 설정그룹(Group) vs 역할(Role) : 그룹은 계승이 안되며, 역할은 계승이 됨RBAC(Role Based Access Control)가 그룹보다 편리 -> 새로운 트랜드아래 예제는 GROUP으로 진행하였지만, 키워드를 ROLE로 바꾸어도 동작한다.사용자 그룹 권한 설정사용자 그룹 권한 설정 - analytics_authors테..
Redshift 소개Redshift 특징Redshift 특징 (1)AWS에서 지원하는 데이터 웨어하우스 서비스2 PB의 데이터까지 처리 가능Still OLAP : 응답 속도보다 처리 용량에 최적화되어 있음컬럼 기반 스토리지 : 레코드 별로 저장하는 것이 아니라 컬럼 별로 저장하며, 컬럼 별 압축 가능Redshift 특징 (2)벌크 업데이트 지원 : 레코드가 들어있는 파일을 S3에 복사 후 COPY 커맨드로 Redshift로 일괄 복사 (BigQuery, Snowflake 등 다른 것도 동일)고정 용량/비용 SQL 엔진 : 최근 가변 옵션도 제공 (Redshift Serverless)데이터 공유 기능 (Datashare) : 다른 AWS 계정과 특정 데이터 공유 가능PK uniqueness를 보장하지 않음..
