인프라 구축기인프라 구축기 (1)에서 프로젝트에서 사용할 인프라 아키텍처와 어떤 용도로 사용하는지 정리하였다. 이제 구성한 인프라를 Terraform으로 관리하기 위해 간단한 공부를 진행하고, 프로젝트에 적용하기 위한 코드를 작성해 볼 것이다. [AWS] 인프라 구축기 (1) - 개요, 아키텍처 소개인프라 구축기인프라 구축기 개요인프라 구축 개요데이터 엔지니어링 데브코스 3기를 진행하면서 데이터 파이프라인을 위한 AWS 인프라를 구축했었지만, 네트워크나 보안, 비용 등 관리 측면의sanseo.tistory.comTerraform 설치 및 기본 사용법Terraform 설치 방법과 사용되는 자주 쓰이는 명령어는 아래에 정리하였다.Terraform 설치 방법 (Windows)Terraform 개념과 자주 쓰이..
인프라 구축기인프라 구축기 개요인프라 구축 개요데이터 엔지니어링 데브코스 3기를 진행하면서 데이터 파이프라인을 위한 AWS 인프라를 구축했었지만, 네트워크나 보안, 비용 등 관리 측면의 고려 사항은 모두 배제하고 진행하였다. 이번 프로젝트 진행에서 인프라 및 데이터 엔지니어링 역할을 맡게 되었고, 이전에 신경 쓰지 못했던 세부사항과 서비스 사용 이유 등을 고려하여 인프라 구축을 진행해보려 한다. 추가로 인프라 구축을 진행하며, 고민했던 과정을 작성할 것이다.프로젝트 목표 및 규모자동화된 데이터 수집 (크롤링) 및 대시보드 제작데이터 엔지니어링 관점에서 최적화 및 모니터링을 고려하며 진행모든 데이터를 한 달간 수집해도 10GB를 넘지 않을 것이라 추측대규모 데이터 처리 방법보다는 자동화 과정을 모니터링하고..
데브코스 최종 프로젝트에서 ETL을 위해 AWS Glue를 사용하려고 한다. 그러나 개념을 아직 모르기 때문에 AWS Glue의 개념과 어떤 역할을 하는지 알아보려고 한다.AWS GlueAWS Glue 사용 예제 : 실제로 사용할 때에는 아래의 링크를 참고해서 진행[Hands On] AWS Glue Studio로 ETL 작업 (농심)[Hands On] Glue를 이용한 데이터 전처리 (교보)AWS Glue 개념과 구성 요소AWS Glue 개념완전 관리형 데이터 추출 변환 및 적재(ETL) 서비스여러 데이터 스토어 및 데이터 스트림 간에 원하는 데이터를 분류, 정리, 보강, 이동 가능AWS Glue 특징서버리스이므로 설정하거나 관리할 인프라가 없음원본/변경 데이터의 저장을 위한 별도의 저장소가 필요 없고,..
VPC 개념과 구성요소VPC (Virtual Private Cloud) 개념VPC 개념사용자가 정의하는 AWS 전용 가상 네트워크사용자가 직접 VPC 생성도 가능하며, default로 생성되는 VPC도 사용 가능VPC 이전EC2-클래식 네트워크 : 모든 인스턴스들이 연결돼 있어 복잡도가 높음VPC가 도입된 이후인스턴스가 VPC에 속함으로써 네트워크를 구분VPC 별로 필요한 설정을 통해 인스턴스에 네트워크 설정 적용 가능VPC 구성 요소 VPC 독립된 하나의 네트워크를 구성하기 위한 가장 큰 단위 서브넷하나의 네트워크가 분할되어 나눠진 작은 네트워크각 서브넷은 IP 주소 범위가 할당되며 네트워크 트래픽 제어를 위한 자체 정책이 있을 수 있음각 서브넷은 하나의 가용 영역(Available Zone, AZ)..
