인프라 구축기인프라 구축기 (2)에서 Terraform을 활용하여 VPC를 구성하는 코드를 작성하였다. 이어서 Instance와 Storage를 구성하는 코드를 작성해 볼 것이다. 추가로 vpc, instance, storage 폴더로 구분하여 각 역할에 맞게 분리하고, 하나의 파일 실행으로 인프라 구성이 진행되도록 해보려고 한다. 인프라 구축기 (2) - Terraform을 활용한 VPC 구성 코드 작성인프라 구축기인프라 구축기 (1)에서 프로젝트에서 사용할 인프라 아키텍처와 어떤 용도로 사용하는지 정리하였다. 이제 구성한 인프라를 Terraform으로 관리하기 위해 간단한 공부를 진행하고, sanseo.tistory.com최종 파일 구조최종적인 파일 구조는 다음과 같다. instance, storag..
인프라 구축기인프라 구축기 (1)에서 프로젝트에서 사용할 인프라 아키텍처와 어떤 용도로 사용하는지 정리하였다. 이제 구성한 인프라를 Terraform으로 관리하기 위해 간단한 공부를 진행하고, 프로젝트에 적용하기 위한 코드를 작성해 볼 것이다. [AWS] 인프라 구축기 (1) - 개요, 아키텍처 소개인프라 구축기인프라 구축기 개요인프라 구축 개요데이터 엔지니어링 데브코스 3기를 진행하면서 데이터 파이프라인을 위한 AWS 인프라를 구축했었지만, 네트워크나 보안, 비용 등 관리 측면의sanseo.tistory.comTerraform 설치 및 기본 사용법Terraform 설치 방법과 사용되는 자주 쓰이는 명령어는 아래에 정리하였다.Terraform 설치 방법 (Windows)Terraform 개념과 자주 쓰이..
2024년 9월 회고인턴 생활현장실습2024-2학기에 학교에서 지원하는 현장실습을 진행하게 되어 9월부터 12월까지 진행하는 인턴십을 하고 있다. "데이터 엔지니어링" 직무였고, 메타 데이터 수집 자동화 업무를 진행한다고 적혀있었다. 그래서 실제로 어떤 업무를 진행하게 될지 기대하는 마음이 컸던 것 같다. 실제로 진행하는 일은 생각했던 것과 사뭇 달라 아쉬운 부분도 있었다.진행 업무내가 생각했던 업무는 데이터 수집 코드 작성과 더불어 해당 코드를 자동화하는 과정 (ETL)도 진행할 줄 알았다. 그러나 실제 업무는 이미 개발된 수집기 형식에 맞춰 웹 데이터가 수집되도록 JSON 코드를 작성하는 것이었다. 이 업무를 진행하며 실제 데이터 엔지니어의 역량을 기르기엔 어려움이 있을 것이라는 생각과 함께 다뤄보지..
인프라 구축기인프라 구축기 개요인프라 구축 개요데이터 엔지니어링 데브코스 3기를 진행하면서 데이터 파이프라인을 위한 AWS 인프라를 구축했었지만, 네트워크나 보안, 비용 등 관리 측면의 고려 사항은 모두 배제하고 진행하였다. 이번 프로젝트 진행에서 인프라 및 데이터 엔지니어링 역할을 맡게 되었고, 이전에 신경 쓰지 못했던 세부사항과 서비스 사용 이유 등을 고려하여 인프라 구축을 진행해보려 한다. 추가로 인프라 구축을 진행하며, 고민했던 과정을 작성할 것이다.프로젝트 목표 및 규모자동화된 데이터 수집 (크롤링) 및 대시보드 제작데이터 엔지니어링 관점에서 최적화 및 모니터링을 고려하며 진행모든 데이터를 한 달간 수집해도 10GB를 넘지 않을 것이라 추측대규모 데이터 처리 방법보다는 자동화 과정을 모니터링하고..
