이전에 Snowflake의 analytics Schema의 테이블을 생성하는 작업을 하였다. 이번에는 작성했던 python 파일(S3 적재)이 한 시간마다 자동으로 실행될 수 있도록 EC2 인스턴스를 생성하고 Crontab 서비스를 실행해 볼 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (5) - Snowflake analytics 테이블 생성이전에 Snowflake에서 S3의 csv 파일을 가져와 데이터베이스에 저장하는 Worksheets를 작성하였다. 이번에는 Snowflake의 raw_data Schema에 존재하는 데이터를 가지고 analytics Schema에 생성할 데이터를 만들어sanseo.tistory.comEC2 인스턴스 생성 및 Crontab 서비스 실행데브코스 프로젝트..
Docker Compose 사용해 보기 (2).dockerignore.dockerignore 개념Image build를 할 때 추가하지 말아야할 파일이나 폴더 지정voting-application의 경우 .dockerignore의 내용은 아래와 같음*.pycproject.lock.jsonbin/obj/.vs/node_modules/.dockerignore 주의할 점Dockerfile의 COPY 명령으로 불필요한 파일 혹은 민감한 정보의 파일이 이미지에 포함될 수 있음COPY 명령을 파일이나 폴더 별로 일일이 적어주는 것이 좋음docker-compose로 다수의 Container 실행docker-compose 개념다수의 Container로 소프트웨어가 구성되는 경우 사용할 수 있는 툴, 환경 설정 파일Co..
이전에 Snowflake에서 S3의 csv 파일을 가져와 데이터베이스에 저장하는 Worksheets를 작성하였다. 이번에는 Snowflake의 raw_data Schema에 존재하는 데이터를 가지고 analytics Schema에 생성할 데이터를 만들어볼 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (4) - Snowflake 기본 설정 및 COPY이전에 S3 - Snowflake - Preset 인프라를 구성하고, 스크래핑 코드를 수정해 주었다. 이번에는 Snowflake에서 S3의 csv 파일을 가져와 데이터베이스로 저장할 수 있도록 Worksheets를 작성할 것이다. [개인sanseo.tistory.comAnalytics Schema에 저장할 Table승 / 패 / 무 여부에 따른..
원래 오늘 Docker & K8s 실습 (4)를 진행해야 하는데, 노트북으로 강의를 수강하게 되어 실습이 없는 (5)를 먼저 수강하게 되었다.K8s 맛보기K8s의 학습은 어렵기 때문에 왜 필요하고 어떤 기능을 해주는지, 그리고 Docker와 어떻게 서로 보완적인 관계인지 이해와 기본적인 사용법을 익히는 것을 목표로 한다.Docker 정리Docker 관련 용어Docker Image (Dockerfile)Docker ContainerDocker Hub (hub.docker.com)Docker Compose다수의 Docker Container 관리docker-compose.yml (servises, networks, volumes)실제 Production 환경에서 사용할 때 유념할 점Docker volumes..
