EC2 Ubuntu에서 metabase 구축사용한 EC2 정보비용 절약을 위해 t2.micro (프리티어)를 사용해 metabase를 구축했다가 CPU가 거의 100%에 도달하여 서버에 접근이 되지 않는 상황이 발생했다. 이후 t2.small로 변경하여 metabse를 구축하고, 정상 작동을 확인하였다.ami : ami-040c33c6a51fd5d96 (Ubuntu 24.04 LTS)instance : t2.small (1 vCPU, 2GB RAM)최소 사양공식 문서를 확인했을 때, 최소 사양이라는 정확한 명칭은 확인할 수 없었다. 대신 아래의 글을 확인할 수 있었다.동시 사용자 20명을 위해 1 CPU, 1 GB RAM이 필요metabase 자체의 사양은 낮은 편이다. 그러나 docker 위에 meta..
데이터 엔지니어링 코딩 테스트 후기2025년 1월 2일부터 8주 간 진행되는 소프티어 부트캠프에 지원하였다. 데이터 엔지니어링 파트의 경우 다른 파트와 다르게 Python으로 코딩 테스트가 진행되었다. 소프티어의 첫 번째 관문인 코딩 테스트를 본 후기를 작성하려고 한다.코딩 테스트 준비백준 문제 풀이원래 파이썬을 사용했기에 기능은 대략적으로 알고 있었고, 코딩 테스트를 준비한 것은 한 달 정도 되었다. 백준의 랭크는 골드 3으로 그렇게 높은 편은 아니라고 생각한다. 그리고 골드보다는 실버 문제를 많이 풀었기에 구현 문제에는 강하지만, 알고리즘에는 약한 편이다. 그래서 알고리즘 문제는 틀리더라도 최소한 아는 건 다 맞추자는 마인드로 소프티어 코딩 테스트 준비를 위해 자료구조와 문자열, 구현 문제를 지속적으..
인프라 구축기이전에 Public EC2에 Tableau를 구축하는 작업을 진행하였다. 그러나 Tableau Server를 사용하려 했지만, Tableau Server와 학생용 Tableau의 제품 키가 호환되지 않아 접속이 되지 않는 이슈가 생겼다. 그래서 오픈소스로 간단히 사용할 수 있는 Metabase로 시각화 툴을 변경하게 되었다. 인프라 구축기 (15) : Public EC2 Tableau 구축인프라 구축기Redshift가 존재하는 VPC 내부에 EC2 및 Tableau를 구축하는 작업을 진행하려고 한다. 원래는 Private Subnet에 EC2를 생성하고, Airflow Web에 접속하는 것처럼 Bastion Host에 Nginx Proxy를 활용해 접sanseo.tistory.com수정된 아..
@task 개념과 사용 예시, 주의할 점Airflow는 워크플로우의 각 단계를 Task로 정의하며, Task를 추가하기 위해 Operator를 사용한다. Airflow 2.0부터 TaskFlow API가 도입되어 Task Decorator인 @task를 활용해 Task를 정의할 수 있게 되었다. 이번 글에서는 @task의 개념과 사용 방법, 예시, 유스케이스를 소개하려고 한다.Airflow Taskflow 공식 문서Python Decorator와 @task의 개념Python Decorator 개념Python의 Dacorator는 함수의 기능을 확장하거나 수정하기 위해 사용하는 디자인 패턴이다. 보통 함수 위에 "@이름" 형태로 선언되며, 함수 호출 전후에 특정 작업을 수행하거나 함수의 동작을 변경할 수 ..
