개요

인프라 구축기 (1) - 개요, IAM 설정, 아키텍처 소개

인프라 구축기인프라 구축기 개요인프라 구축 개요데이터 엔지니어링 데브코스 3기를 진행하면서 데이터 파이프라인을 위한 AWS 인프라를 구축했었지만, 네트워크나 보안, 비용 등 관리 측면의 고려 사항은 모두 배제하고 진행하였다. 이번 프로젝트 진행에서 인프라 및 데이터 엔지니어링 역할을 맡게 되었고, 이전에 신경 쓰지 못했던 세부사항과 서비스 사용 이유 등을 고려하여 인프라 구축을 진행해보려 한다. 추가로 인프라 구축을 진행하며, 고민했던 과정을 작성할 것이다.프로젝트 목표 및 규모자동화된 데이터 수집 (크롤링) 및 대시보드 제작데이터 엔지니어링 관점에서 최적화 및 모니터링을 고려하며 진행모든 데이터를 한 달간 수집해도 10GB를 넘지 않을 것이라 추측대규모 데이터 처리 방법보다는 자동화 과정을 모니터링하고..