[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)
[TIL - 46일 차] Docker & K8S 실습 (1)
Airflow 환경 구축을 위한 Docker와 K8s 실습Airflow 운영 상의 어려움라이브러리 충돌DAG에 따라 실행에 필요한 라이브러리 / 모듈이 달라지면서 충돌 이슈 발생DAG 혹은 Task 별로 별도의 독립 공간을 만들어주는 것이 필요 -> DockerWorker의 부족Scale Up : 서버의 사양 업그레이드Scale Out : 클라우드 서비스K8s와 같은 컨테이너 기술 활용낮은 Server Utilization 이슈서비스 별로 전용 서버를 할당하는 것은 여러 가지 이슈 발생서비스 별로 Capacity 관리를 해야 함각 서비스에 속한 서버들을 보면 Utilization이 낮은 이슈 발생이 역시 K8s와 같은 컨테이너 기술의 도입으로 해결 가능해결책Task나 DAG 코드를 Docker Image..
