[AWS] Amazon S3 개념과 관련 용어 및 실습

Amazon S3(Simple Storage Service)

Amazon S3 Icon

Amazon S3란?

S3는 AWS가 제공하는 클라우드 스토리지 서비스로 파일, 데이터 및 다양한 유형의 미디어 등을 저장하고 관리하는 데 사용된다. S3을 사용하여 데이터 레이크, 웹/앱, 백업 및 복원, 빅데이터 분석 등 다양한 부분에서 원하는 양의 데이터를 저장하고 보호할 수 있다.

S3 용어 - 버킷(Bucket), 객체(Object)

버킷을 마트, 객체를 물건이라고 예를 들어보자. 마트 내에 여러 물건이 있는 것처럼 버킷 안에는 파일, 사진, 동영상 등 다양한 데이터를 넣을 수 있다. 그리고 물건마다 이름과 설명이 적힌 것처럼 버킷 안의 데이터에는 이름, 크기 등의 정보들이 포함되어 있다. 버킷 안에 존재하는 물건 하나하나를 객체라고 부른다.

버킷 & 객체

버킷

S3의 저장 공간을 구분하는 단위로 디렉토리/폴더와 같은 개념이며, 파일은 모두 버킷에 저장된다.

• 버킷 이름은 리전과 관계없이 유일한 이름만 사용 가능
• 버킷 주소 : https://bucketname.s3.Region.amazon.com\
• 버전 관리 기능을 통해 데이터 복원 가능

객체

S3에 저장되는 기본 객체, 객체 데이터와 메타데이터로 구성되며 버킷에 저장되는 파일을 의미한다.

• 구성
  • Owner : 소유자
  • Key : 파일의 이름
  • Value : 파일의 데이터
  • Version Id : 파일의 버전 아이디
  • Metadata : 파일의 정보를 담은 데이터
  • ACL : 파일의 권한을 담은 데이터
  • Torrents : 토렌트 공유를 위한 데이터
• 하나의 객체 크기는 1Byte ~ 5TB
• 저장 가능한 객체 개수는 무제한
• 객체마다 접근 권한 설정 가능

S3 실습 - Redshift과 연동

AWS의 데이터 웨어하우스 서비스인 Redshift(Serverless)와 S3을 연동하는 실습이다. 개념을 이해하고, 실습을 진행하면 사용하는 데에도 무리가 없을 것이다.

[숙제 - 32일 차] S3 -> Redshift, COPY 명령어로 데이터 적재하기

Reference

https://bigco-growth-diary.tistory.com/43

https://www.youtube.com/watch?v=LazOCTfdSeQ