인프라 구축기현재 Lambda는 EC2와 RDS 인스턴스를 오전 10시에 켜는 함수 1개와 오후 10시 30분에 끄는 함수 1개로 구성돼 있다. 비용 절감을 위해 사용하지 않는 시간에 꺼두기 위한 목적으로 사용하고 있다. 초기 아키텍처와 다르게 AI Server와 metabase ec2 서버가 추가돼 Lambda 함수에 추가했는데, 해당 내용을 정리하려고 한다.현재 작성 중인 Lambda와 관련된 .py 파일이나 Terraform Code를 알고 싶다면, 아래의 링크를 확인하면 된다.참고 : 인프라 구축기 (8) 이후 변경 사항이 있었기에 대략적인 형태만 파악 인프라 구축기 (8) - Lambda를 활용한 AWS 인스턴스 시작, 중지 자동화인프라 구축기현재 인프라를 사용하면서 지속적으로 비용이 청구되고 ..
인프라 구축기Redshift가 존재하는 VPC 내부에 EC2 및 Tableau를 구축하는 작업을 진행하려고 한다. 원래는 Private Subnet에 EC2를 생성하고, Airflow Web에 접속하는 것처럼 Bastion Host에 Nginx Proxy를 활용해 접근하려고 하였다. 그러나 로컬에서 Tableau Web 접근까지는 완료됐지만, 관리자 로그인이 원활하게 진행되지 않아 Public으로 다시 구축을 진행하였다. 아마 Proxy를 통한 접근으로 Tableau를 사용할 수 없다는 것이 나의 추측이다. 이 글에서는 AWS EC2에서 Tableau를 구축한 과정을 담으려고 한다. 구축 과정은 링크를 참고하여 진행하였다.수정된 아키텍처첫 번째 난관 : EC2 Instance 선정처음으로 EC2 인스턴스..
인프라 구축기EC2의 t3.large로 Airflow를 구축한 상황에서 AI 학습 및 예측을 진행해야 하는 문제에 직면했다. 그러나 Airflow Worker(LocalExecutor)만 사용한다면, 과부하가 올 것이라는 확신이 있었기에 AI를 위한 추가 인스턴스를 생성하고자 하였다. 이에 따라 Terraform 작업을 진행하게 되었으며, 진행 내용은 다음과 같다.AI Server를 위한 EC2 인스턴스 추가Airflow에서 EC2를 Start/Stop 하기 위한 IAM 사용자 생성lambda 함수에 AI Server를 추가하고, 특정 시간에 Start/Stop 되도록 수정EC2 인스턴스 추가 및 사용자 생성instance/ec2.tfAMI는 Amazon Linux 2023, 인스턴스는 t2.micro ..
인프라 구축기지금까지 인프라 아키텍처를 설계 및 구축하고, 발생한 오류를 해결하는 과정을 인프라 구축기에 담았다. 그러나 내용이 많고, 난잡할 수 있기 때문에 하나의 글에서 진행 상황과 앞으로의 진행 내용을 정리하려고 한다.진행한 내용인프라 아키텍처 설계 및 구축인프라 아키텍처 설계인프라 구축 및 통신 테스트인프라는 Terraform을 활용해 구성 (단, EC2 Keypair만 AWS 웹에서 생성)VPC, 인스턴스 등 인프라 요소 생성 (VPC 구성, instance/storage 구성)내부 통신 동작 확인 (Bastion Host -> Private Subent, Private EC2 -> Other Instance)Local -> Private EC2 (Airflow) Web Server 접속Bast..
