Redshift COPY 명령으로 테이블에 적재Redshift Serverless 생성 및 접속Default VPC 생성이전에 모든 VPC를 삭제해서 Redshift를 생성할 때 선택할 VPC가 존재하지 않았다. 그래서 임의로 만들어서 하려고 했다가 오류가 발생해서 계속 검색하던 중 아래의 명령어로 default vpc를 만들 수 있다는 것을 알게 되었다.aws ec2 create-default-vpc 기본 VPC - Amazon Virtual Private Cloud기본 VPC Amazon VPC를 사용하기 시작하는 경우 각 AWS 리전에 기본 VPC가 있습니다. 기본 VPC는 각 가용 영역의 퍼블릭 서브넷, 인터넷 게이트웨이 및 DNS 확인 활성화 설정과 함께 제공됩니다. 따라서docs.aws.ama..
Snowflake 운영과 관리Snowflake 특징 소개Snowflake 소개2014년에 클라우드 기반 데이터 웨어하우스로 시작하였고, 지금은 데이터 클라우드라고 부를 정도로 발전하였다. 글로벌 클라우드(AWS, GCP, Azure)에서 모두 동작하며, ETL과 다양한 데이터 통합 기능을 제공한다.Snowflake 특징 (1)스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델SQL 기반으로 빅데이터 저장, 처리, 분석을 가능하게 해 줌비구조화된 데이터 처리와 머신러닝 기능도 제공CSV, JSON, Avro, Parquet 등과 같은 다양한 데이터 포맷 지원배치 데이터 중심이지만 실시간 데이터 처리 지원Time Travel : 과거 데이터 쿼리 기능으로 트렌드를 분석하기 쉽게 해 줌웹 콘솔 이외에도..
Redshift 고급 기능 실습Redshift 권한과 보안사용자별로 권한을 설정하면 복잡하고 실수의 가능성이 높기 때문에 일반적으로 사용자별, 테이블별 권한은 설정하지 않는다. 따라서 역할(Role) 혹은 그룹(Group) 별, 스키마별로 권한을 주는 것이 일반적이다. 개인정보와 연관된 테이블이라면 일부 사람만 접근할 수 있도록 별도 스키마를 설정한다.사용자별 테이블 권한 설정그룹(Group) vs 역할(Role) : 그룹은 계승이 안되며, 역할은 계승이 됨RBAC(Role Based Access Control)가 그룹보다 편리 -> 새로운 트랜드아래 예제는 GROUP으로 진행하였지만, 키워드를 ROLE로 바꾸어도 동작한다.사용자 그룹 권한 설정사용자 그룹 권한 설정 - analytics_authors테..
Redshift 소개Redshift 특징Redshift 특징 (1)AWS에서 지원하는 데이터 웨어하우스 서비스2 PB의 데이터까지 처리 가능Still OLAP : 응답 속도보다 처리 용량에 최적화되어 있음컬럼 기반 스토리지 : 레코드 별로 저장하는 것이 아니라 컬럼 별로 저장하며, 컬럼 별 압축 가능Redshift 특징 (2)벌크 업데이트 지원 : 레코드가 들어있는 파일을 S3에 복사 후 COPY 커맨드로 Redshift로 일괄 복사 (BigQuery, Snowflake 등 다른 것도 동일)고정 용량/비용 SQL 엔진 : 최근 가변 옵션도 제공 (Redshift Serverless)데이터 공유 기능 (Datashare) : 다른 AWS 계정과 특정 데이터 공유 가능PK uniqueness를 보장하지 않음..
