S3

[프로그래머스] 데이터 엔지니어링 데브코스 3기/숙제

[숙제 - 33일 차] S3 -> Redshift, COPY 명령어로 데이터 적재하기 (2)

raw_data.nps 테이블을 바탕으로 월별 NPS 계산Redshift COPY 명령으로 테이블에 적재raw_data 스키마 내부에 nps 테이블 생성%%sqlCREATE TABLE raw_data.nps ( created_at timestamp, score smallint);파일 업로드 및 COPY 명령어 실행주어진 nps 파일을 S3에 업로드 후 COPY 명령어를 통해 Redshift에 벌크 업데이트를 진행한다.%%sqlCOPY raw_data.npsFROM 's3-file-path'credentials 'aws_iam_role=arn:aws:iam::~'delimiter ',' dateformat 'auto' timeformat 'auto' ignoreheader 1COPY 확인%%sq..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/숙제

[숙제 - 32일 차] S3 -> Redshift, COPY 명령어로 데이터 적재하기

Redshift COPY 명령으로 테이블에 적재Redshift Serverless 생성 및 접속Default VPC 생성이전에 모든 VPC를 삭제해서 Redshift를 생성할 때 선택할 VPC가 존재하지 않았다. 그래서 임의로 만들어서 하려고 했다가 오류가 발생해서 계속 검색하던 중 아래의 명령어로 default vpc를 만들 수 있다는 것을 알게 되었다.aws ec2 create-default-vpc 기본 VPC - Amazon Virtual Private Cloud기본 VPC Amazon VPC를 사용하기 시작하는 경우 각 AWS 리전에 기본 VPC가 있습니다. 기본 VPC는 각 가용 영역의 퍼블릭 서브넷, 인터넷 게이트웨이 및 DNS 확인 활성화 설정과 함께 제공됩니다. 따라서docs.aws.ama..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 33일 차] 데이터 웨어하우스 관리와 고급 SQL과 BI 대시보드 (3)

Redshift 고급 기능 실습Redshift 권한과 보안사용자별로 권한을 설정하면 복잡하고 실수의 가능성이 높기 때문에 일반적으로 사용자별, 테이블별 권한은 설정하지 않는다. 따라서 역할(Role) 혹은 그룹(Group) 별, 스키마별로 권한을 주는 것이 일반적이다. 개인정보와 연관된 테이블이라면 일부 사람만 접근할 수 있도록 별도 스키마를 설정한다.사용자별 테이블 권한 설정그룹(Group) vs 역할(Role) : 그룹은 계승이 안되며, 역할은 계승이 됨RBAC(Role Based Access Control)가 그룹보다 편리 -> 새로운 트랜드아래 예제는 GROUP으로 진행하였지만, 키워드를 ROLE로 바꾸어도 동작한다.사용자 그룹 권한 설정사용자 그룹 권한 설정 - analytics_authors테..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 32일 차] 데이터 웨어하우스 관리와 고급 SQL과 BI 대시보드 (2)

Redshift 소개Redshift 특징Redshift 특징 (1)AWS에서 지원하는 데이터 웨어하우스 서비스2 PB의 데이터까지 처리 가능Still OLAP : 응답 속도보다 처리 용량에 최적화되어 있음컬럼 기반 스토리지 : 레코드 별로 저장하는 것이 아니라 컬럼 별로 저장하며, 컬럼 별 압축 가능Redshift 특징 (2)벌크 업데이트 지원 : 레코드가 들어있는 파일을 S3에 복사 후 COPY 커맨드로 Redshift로 일괄 복사 (BigQuery, Snowflake 등 다른 것도 동일)고정 용량/비용 SQL 엔진 : 최근 가변 옵션도 제공 (Redshift Serverless)데이터 공유 기능 (Datashare) : 다른 AWS 계정과 특정 데이터 공유 가능PK uniqueness를 보장하지 않음..

기억에 남는 블로그 닉네임
'S3' 태그의 글 목록 (5 Page)