Docker

Infra/AWS

[AWS] EC2 Ubuntu에서 metabase 구축

EC2 Ubuntu에서 metabase 구축사용한 EC2 정보비용 절약을 위해 t2.micro (프리티어)를 사용해 metabase를 구축했다가 CPU가 거의 100%에 도달하여 서버에 접근이 되지 않는 상황이 발생했다. 이후 t2.small로 변경하여 metabse를 구축하고, 정상 작동을 확인하였다.ami : ami-040c33c6a51fd5d96 (Ubuntu 24.04 LTS)instance : t2.small (1 vCPU, 2GB RAM)최소 사양공식 문서를 확인했을 때, 최소 사양이라는 정확한 명칭은 확인할 수 없었다. 대신 아래의 글을 확인할 수 있었다.동시 사용자 20명을 위해 1 CPU, 1 GB RAM이 필요metabase 자체의 사양은 낮은 편이다. 그러나 docker 위에 meta..

Infra/[인프라 구축기] Terraform 활용 AWS 인프라 구축

인프라 구축기 (16) : Tableau에서 Metabase로 변경

인프라 구축기이전에 Public EC2에 Tableau를 구축하는 작업을 진행하였다. 그러나 Tableau Server를 사용하려 했지만, Tableau Server와 학생용 Tableau의 제품 키가 호환되지 않아 접속이 되지 않는 이슈가 생겼다. 그래서 오픈소스로 간단히 사용할 수 있는 Metabase로 시각화 툴을 변경하게 되었다. 인프라 구축기 (15) : Public EC2 Tableau 구축인프라 구축기Redshift가 존재하는 VPC 내부에 EC2 및 Tableau를 구축하는 작업을 진행하려고 한다. 원래는 Private Subnet에 EC2를 생성하고, Airflow Web에 접속하는 것처럼 Bastion Host에 Nginx Proxy를 활용해 접sanseo.tistory.com수정된 아..

Data Engineering/Airflow

[Airflow] AWS Ubuntu EC2 Airflow 환경 구축 (feat. Dockerfile)

AWS Ubuntu EC2 Airflow 환경 구축생성한 EC2 인스턴스 정보는 다음과 같다. Airflow와 Docker는 결코 가벼운 서비스가 아니기 때문에 메모리가 6~8GB 정도는 돼야 정상적으로 작동하기 때문에 여유롭게 t3.large를 사용하였다.OS : Ubuntu Server 24.04 LTSinstance : t3.large (2 vCPU, 8 GiB Mem)(24.10.17 기준) 1 hour : $0.1041 day : $2.4961 week : $17.472docker-compose를 사용한 Airflow 환경 구축 과정docker-compose 만으로도 Airflow 환경 구축이 가능하다. 그러나 Dockerfile을 활용해 build 하면, 더 유연하게 docker-compose..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 50일 차] Docker & K8S 실습 (4)

Docker Compose 사용해 보기 (2).dockerignore.dockerignore 개념Image build를 할 때 추가하지 말아야할 파일이나 폴더 지정voting-application의 경우 .dockerignore의 내용은 아래와 같음*.pycproject.lock.jsonbin/obj/.vs/node_modules/.dockerignore 주의할 점Dockerfile의 COPY 명령으로 불필요한 파일 혹은 민감한 정보의 파일이 이미지에 포함될 수 있음COPY 명령을 파일이나 폴더 별로 일일이 적어주는 것이 좋음docker-compose로 다수의 Container 실행docker-compose 개념다수의 Container로 소프트웨어가 구성되는 경우 사용할 수 있는 툴, 환경 설정 파일Co..

기억에 남는 블로그 닉네임
'Docker' 태그의 글 목록