웹 서비스를 Docker로 실행해 보기학습 목표웹 서비스를 Docker로 구동해 보는 전체 과정 익히기hangman_web이라는 repo의 main에 코드가 머지될 때마다 다음을 수행Github repo의 Github Actions로 구현테스트 수행Docker Image 빌드Docker Image를 Docker Hub로 푸시Hangman 서비스Hangman 소개hangman_web github repo (미완성)hangman 프로그램을 flask를 사용하여 웹으로 노출포트번호는 어디든 바인딩 가능하며 실행할 때 지정flask 관련 모듈 설치 필요 (requirements.txt)실행 방법 : python3 -m flask run --host=0.0.0.0 --port=4000hangman_web 실행ht..
Airflow 환경 구축을 위한 Docker와 K8s 실습Airflow 운영 상의 어려움라이브러리 충돌DAG에 따라 실행에 필요한 라이브러리 / 모듈이 달라지면서 충돌 이슈 발생DAG 혹은 Task 별로 별도의 독립 공간을 만들어주는 것이 필요 -> DockerWorker의 부족Scale Up : 서버의 사양 업그레이드Scale Out : 클라우드 서비스K8s와 같은 컨테이너 기술 활용낮은 Server Utilization 이슈서비스 별로 전용 서버를 할당하는 것은 여러 가지 이슈 발생서비스 별로 Capacity 관리를 해야 함각 서비스에 속한 서버들을 보면 Utilization이 낮은 이슈 발생이 역시 K8s와 같은 컨테이너 기술의 도입으로 해결 가능해결책Task나 DAG 코드를 Docker Image..
Airflow DAG 개발 - OLTP 복사와 ELTOLTP(MySQL) 테이블 복사 방법프로덕션 MySQL 테이블 (OLTP)의 prod.nps 테이블을 AWS Redshift (OLAP)의 raw_data.nps로 복사하는 실습을 진행한다.복사 방법둘 중 어느 방법을 사용하더라도 Airflow는 MySQL과의 연결이 필요하며, COPY를 사용할 경우 S3와도 연결돼야 한다.INSERT INTOMySQL의 소스 데이터를 읽어 하나씩 AWS Redshift로 "INSERT INTO"를 사용해 복사소스 데이터의 레코드 수가 많다면 시간이 오래 걸림MySQL -> Airflow Server -> AWS RedshiftRedshift COPYMySQL의 소스 데이터를 읽어 파일로 클라우드 스토리지 S3에 저장..
