인프라 구축기현재 Lambda는 EC2와 RDS 인스턴스를 오전 10시에 켜는 함수 1개와 오후 10시 30분에 끄는 함수 1개로 구성돼 있다. 비용 절감을 위해 사용하지 않는 시간에 꺼두기 위한 목적으로 사용하고 있다. 초기 아키텍처와 다르게 AI Server와 metabase ec2 서버가 추가돼 Lambda 함수에 추가했는데, 해당 내용을 정리하려고 한다.현재 작성 중인 Lambda와 관련된 .py 파일이나 Terraform Code를 알고 싶다면, 아래의 링크를 확인하면 된다.참고 : 인프라 구축기 (8) 이후 변경 사항이 있었기에 대략적인 형태만 파악 인프라 구축기 (8) - Lambda를 활용한 AWS 인스턴스 시작, 중지 자동화인프라 구축기현재 인프라를 사용하면서 지속적으로 비용이 청구되고 ..
인프라 구축기EC2의 t3.large로 Airflow를 구축한 상황에서 AI 학습 및 예측을 진행해야 하는 문제에 직면했다. 그러나 Airflow Worker(LocalExecutor)만 사용한다면, 과부하가 올 것이라는 확신이 있었기에 AI를 위한 추가 인스턴스를 생성하고자 하였다. 이에 따라 Terraform 작업을 진행하게 되었으며, 진행 내용은 다음과 같다.AI Server를 위한 EC2 인스턴스 추가Airflow에서 EC2를 Start/Stop 하기 위한 IAM 사용자 생성lambda 함수에 AI Server를 추가하고, 특정 시간에 Start/Stop 되도록 수정EC2 인스턴스 추가 및 사용자 생성instance/ec2.tfAMI는 Amazon Linux 2023, 인스턴스는 t2.micro ..
TIL (2024-08-12 ~ 2024-08-16)이번 주는 큰 변경 사항 없이 프로젝트 보고서 작성과 PPT 제작을 위한 회의를 중심으로 진행하였다. 그래서 회의 중 내가 작업하는 부분에서의 변경 및 추가 사항에 대해서 작성해보려 한다.변경 및 추가 사항모델 정확도 추세 그래프 추가AI Model(Random Forest)를 활용한 모델링 DAG 작성이 마무리 (다른 팀원 분의 작업)하루에 한 번씩 학습이 진행되기에 어느 모델의 정확도가 가장 높은지 확인할 수 있도록 제작ERD에 집 방향 컬럼 추가 (링크)다방, 직방에 집 방향(direction) 컬럼이 추가되어 사용자에게 해당 내용을 제공추가로 AI 학습 데이터에도 이 부분을 적용하여 더 높은 정확도를 기대할 수 있음
TIL (2024-08-05 ~ 2024-08-09)2024-08-05 (월)오늘 한 일EC2에 Metabase 구축Ubuntu에 Docker 설치 (참고 링크, 공식 문서)Docker에 Metabse 구축 (참고 링크)Metabase 웹 접속을 위한 인바운드 그룹에 3000 포트 추가 (참고 링크)미인증 중개소의 매물 개수 테이블 생성 및 시각화미인증 중개소의 매물 개수를 나타내는 테이블 생성생성한 테이블을 바탕으로 시각화 진행작성했던 create_transformed_and_analytics_table DAG에 해당 테이블 쿼리 추가 및 테스트 완료AI Model 학습을 위한 테이블 쿼리 작성컬럼 : 매물 ID, 층 수, 면적, 편의시설 종류 개수, 보증금, 월세, 관리비, 지역구, 판매 여부컬럼은 ..
