AWS

Infra/AWS

[AWS] Amazon S3 개념과 관련 용어 및 실습

Amazon S3(Simple Storage Service)Amazon S3란?S3는 AWS가 제공하는 클라우드 스토리지 서비스로 파일, 데이터 및 다양한 유형의 미디어 등을 저장하고 관리하는 데 사용된다. S3을 사용하여 데이터 레이크, 웹/앱, 백업 및 복원, 빅데이터 분석 등 다양한 부분에서 원하는 양의 데이터를 저장하고 보호할 수 있다.S3 용어 - 버킷(Bucket), 객체(Object)버킷을 마트, 객체를 물건이라고 예를 들어보자. 마트 내에 여러 물건이 있는 것처럼 버킷 안에는 파일, 사진, 동영상 등 다양한 데이터를 넣을 수 있다. 그리고 물건마다 이름과 설명이 적힌 것처럼 버킷 안의 데이터에는 이름, 크기 등의 정보들이 포함되어 있다. 버킷 안에 존재하는 물건 하나하나를 객체라고 부른다...

[프로그래머스] 데이터 엔지니어링 데브코스 3기/숙제

[숙제 - 32일 차] S3 -> Redshift, COPY 명령어로 데이터 적재하기

Redshift COPY 명령으로 테이블에 적재Redshift Serverless 생성 및 접속Default VPC 생성이전에 모든 VPC를 삭제해서 Redshift를 생성할 때 선택할 VPC가 존재하지 않았다. 그래서 임의로 만들어서 하려고 했다가 오류가 발생해서 계속 검색하던 중 아래의 명령어로 default vpc를 만들 수 있다는 것을 알게 되었다.aws ec2 create-default-vpc 기본 VPC - Amazon Virtual Private Cloud기본 VPC Amazon VPC를 사용하기 시작하는 경우 각 AWS 리전에 기본 VPC가 있습니다. 기본 VPC는 각 가용 영역의 퍼블릭 서브넷, 인터넷 게이트웨이 및 DNS 확인 활성화 설정과 함께 제공됩니다. 따라서docs.aws.ama..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 30일 차] AWS 클라우드 (5)

DockerContainer 기반의 경량화된 이미지를 통해서 제공하는 서비스이다. Docker를 사용하면 환경에 구애받지 않고 애플리케이션을 신속하게 배포 및 확장할 수 있으며, 모니터링 및 관리를 편하게 할 수 있다. Container가 많아지면 복잡도가 높아지는데, 이를 하나로 관리할 수 있는 서비스가 Kubernetes이다.용어이미지(Image)이미지는 컨테이너를 생성할 때 필요한 요소로 컨테이너의 목적에 맞는 바이너리와 의존성이 설치되어 있다. 여러 개의 계층으로 된 바이너리 파일이다. 이미 존재하는 이미지가 많기 때문에 가져다 사용해도 되고, 직접 만들어도 된다.컨테이너(Container)호스트와 다른 컨테이너로부터 격리된 시스템 차원과 네트워크를 사용하는 프로세스이다. 이미지는 읽기 전용으로 ..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 29일 차] AWS 클라우드 (4)

배포부터 서비스 구성까지AWS service를 사용하기 전에 이를 연결할 백엔드 프로젝트를 생성하고, 초기 세팅을 한 뒤 github의 repo에 업로드한다. 강의에서는 spring boot를 사용하였다. VPCAvailable Zone(AZ)은 두 개(2a, 2c)가 존재하며, 각각의 AZ는 public subnet과 private subnet으로 나뉜다.VPC 생성미리보기 형태는 다음과 같고 구성도처럼 AZ가 두 개 존재하고, 내부에 private subnet과 public subnet이 하나씩 존재하는 것을 확인할 수 있다. 또한 하나의 AZ에서 NAT 게이트웨이를 생성해 주었다. NAT 게이트웨이는 AWS에서 제공하는 네트워크 주소 변환 서비스로 private subnet 내의 인터넷, AWS s..

기억에 남는 블로그 닉네임
'AWS' 태그의 글 목록 (4 Page)