AWS VPC 비용 청구최근 데이터 엔지니어링을 공부하면서 EC2, Redshift, S3와 같은 서비스를 이용하고 있다. 서비스 종료를 제대로 하지 않으면 비용 폭탄을 맞을 수 있다는 말에 공부가 끝나면 잊지 않고 종료를 해주었다. 그런데 서비스를 종료하고 VPC도 삭제했지만, 매일 VPC 비용이 청구되고 있었다..세부 비용 청구서AWS Console > 결제 및 비용 관리 > 청구서에서 세부 청구 내용을 확인해보니 "$0.005 per Idle public IPv4 address per hour"를 382시간이나 사용했다고 한다. 즉, Public IPv4 주소가 아직 삭제되지 않아 지속적으로 비용이 청구되고 있는 것이다.Public IPv42024년 2월 1일부터 Public IPv4 주소 사용이 ..
IAM(Identity and Access Management)AWS IAM이란?AWS는 인프라를 구성할 수 있는 서비스이다. 조직에서 인프라에 접근 가능한 사람은 한 명이 아니다. 직급에 따라 서비스를 사용할 수 있는 권한이 다르게 설정돼야 할 것이다. 이러한 보안 문제를 해결해 줄 서비스가 바로 AWS IAM이다.IAM은 AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 서비스이다. IAM을 사용하면 사용자 및 그룹을 생성 및 관리하고 권한을 사용하여 AWS 리소스에 대한 액세스 권한을 부여하거나 거부할 수 있다. 예를 들어 S3 서비스에 접근할 수 있도록 액세스를 부여하거나 접근하지 못하도록 거부하도록 설정할 수 있다.IAM 작동 방식사용자가 AWS 서비스에 요청을 보낼 때, 인증을 위한 자격..
Amazon RedshiftAmazon Reshift란?Redshift는 AWS에서 지원하는 완전 관리형 데이터 웨어하우스 서비스이다. PostgreSQL 기반으로 대규모 병렬 처리, 데이터 압축을 통해 효율적인 데이터 저장 및 최적의 쿼리 성능을 가져올 수 있다. 응답 속도보다 처리 용량에 최적화(OLAP)되어 있어 빠른 시간에 응답해야 한다면 사용하기 힘들다. 최근에는 Serverless로 가변 비용 서비스가 만들어졌다.OLAP(데이터 웨어하우스, ex - Redshift) vs OLTP(프로덕션 데이터베이스, ex - RDS)고정 비용(ex - Redshift) vs 가변 비용(ex - Snowflake, BigQuery)클러스터클러스터는 리더 노드와 하나 이상의 컴퓨팅 노드로 구성되어 있다.리더 ..
개요데브코스에서 24.05.13 ~ 24.05.17 (총 5일) 동안 데이터 웨어하우스(Snowflake)와 preset(=superset)을 사용하여 적재한 데이터를 바탕으로 대시보드를 구축하는 프로젝트를 진행한다. 그러나 3일 차인 어제(24.05.15) 대시보드까지 구성이 완료되었다. 마침 멘토님과 프로젝트 중간 리뷰 시간이 있어 조언을 받았는데, 데이터 적재 자동화 부분을 구성하지 않아 빨리 마무리된 것이라고 말씀하셨다. Airflow를 이용한 자동화는 차후 프로젝트에서 진행될 내용이며, 프로젝트 종료까지 시간이 남았기 때문에 팀원 분들과 협의하여 Airflow를 제외한 자동화 방법엔 무엇이 있는지 탐색하는 시간을 갖기로 하였다. 실제로 적용하는 것은 아니고 공부 차원에서 진행하는 것이다.프로젝트..
