데브코스 최종 프로젝트에서 ETL을 위해 AWS Glue를 사용하려고 한다. 그러나 개념을 아직 모르기 때문에 AWS Glue의 개념과 어떤 역할을 하는지 알아보려고 한다.AWS GlueAWS Glue 사용 예제 : 실제로 사용할 때에는 아래의 링크를 참고해서 진행[Hands On] AWS Glue Studio로 ETL 작업 (농심)[Hands On] Glue를 이용한 데이터 전처리 (교보)AWS Glue 개념과 구성 요소AWS Glue 개념완전 관리형 데이터 추출 변환 및 적재(ETL) 서비스여러 데이터 스토어 및 데이터 스트림 간에 원하는 데이터를 분류, 정리, 보강, 이동 가능AWS Glue 특징서버리스이므로 설정하거나 관리할 인프라가 없음원본/변경 데이터의 저장을 위한 별도의 저장소가 필요 없고,..
VPC 개념과 구성요소VPC (Virtual Private Cloud) 개념VPC 개념사용자가 정의하는 AWS 전용 가상 네트워크사용자가 직접 VPC 생성도 가능하며, default로 생성되는 VPC도 사용 가능VPC 이전EC2-클래식 네트워크 : 모든 인스턴스들이 연결돼 있어 복잡도가 높음VPC가 도입된 이후인스턴스가 VPC에 속함으로써 네트워크를 구분VPC 별로 필요한 설정을 통해 인스턴스에 네트워크 설정 적용 가능VPC 구성 요소 VPC 독립된 하나의 네트워크를 구성하기 위한 가장 큰 단위 서브넷하나의 네트워크가 분할되어 나눠진 작은 네트워크각 서브넷은 IP 주소 범위가 할당되며 네트워크 트래픽 제어를 위한 자체 정책이 있을 수 있음각 서브넷은 하나의 가용 영역(Available Zone, AZ)..
IAM(Identity and Access Management)AWS IAM이란?AWS는 인프라를 구성할 수 있는 서비스이다. 조직에서 인프라에 접근 가능한 사람은 한 명이 아니다. 직급에 따라 서비스를 사용할 수 있는 권한이 다르게 설정돼야 할 것이다. 이러한 보안 문제를 해결해 줄 서비스가 바로 AWS IAM이다.IAM은 AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 서비스이다. IAM을 사용하면 사용자 및 그룹을 생성 및 관리하고 권한을 사용하여 AWS 리소스에 대한 액세스 권한을 부여하거나 거부할 수 있다. 예를 들어 S3 서비스에 접근할 수 있도록 액세스를 부여하거나 접근하지 못하도록 거부하도록 설정할 수 있다.IAM 작동 방식사용자가 AWS 서비스에 요청을 보낼 때, 인증을 위한 자격..
Amazon RedshiftAmazon Reshift란?Redshift는 AWS에서 지원하는 완전 관리형 데이터 웨어하우스 서비스이다. PostgreSQL 기반으로 대규모 병렬 처리, 데이터 압축을 통해 효율적인 데이터 저장 및 최적의 쿼리 성능을 가져올 수 있다. 응답 속도보다 처리 용량에 최적화(OLAP)되어 있어 빠른 시간에 응답해야 한다면 사용하기 힘들다. 최근에는 Serverless로 가변 비용 서비스가 만들어졌다.OLAP(데이터 웨어하우스, ex - Redshift) vs OLTP(프로덕션 데이터베이스, ex - RDS)고정 비용(ex - Redshift) vs 가변 비용(ex - Snowflake, BigQuery)클러스터클러스터는 리더 노드와 하나 이상의 컴퓨팅 노드로 구성되어 있다.리더 ..
