이전에 EC2와 crontab을 사용해서 API의 데이터를 S3에 적재하는 작업을 진행하였다. 이번에는 EC2와 crontab을 사용해서 S3의 csv 파일을 Snowflake 테이블로 저장하는 작업을 진행할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (6) - EC2 / crontab 자동화 1이전에 Snowflake의 analytics Schema의 테이블을 생성하는 작업을 하였다. 이번에는 작성했던 python 파일(S3 적재)이 한 시간마다 자동으로 실행될 수 있도록 EC2 인스턴스를 생성하고 Crontab 서비스를 실sanseo.tistory.com수정사항scraping.pyAPI의 Schema에는 matchResult가 0, 1, 2만 존재했지만, 실제로 확인했을 때 4가 존..
이전에 Snowflake의 analytics Schema의 테이블을 생성하는 작업을 하였다. 이번에는 작성했던 python 파일(S3 적재)이 한 시간마다 자동으로 실행될 수 있도록 EC2 인스턴스를 생성하고 Crontab 서비스를 실행해 볼 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (5) - Snowflake analytics 테이블 생성이전에 Snowflake에서 S3의 csv 파일을 가져와 데이터베이스에 저장하는 Worksheets를 작성하였다. 이번에는 Snowflake의 raw_data Schema에 존재하는 데이터를 가지고 analytics Schema에 생성할 데이터를 만들어sanseo.tistory.comEC2 인스턴스 생성 및 Crontab 서비스 실행데브코스 프로젝트..
이전에 Snowflake에서 S3의 csv 파일을 가져와 데이터베이스에 저장하는 Worksheets를 작성하였다. 이번에는 Snowflake의 raw_data Schema에 존재하는 데이터를 가지고 analytics Schema에 생성할 데이터를 만들어볼 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (4) - Snowflake 기본 설정 및 COPY이전에 S3 - Snowflake - Preset 인프라를 구성하고, 스크래핑 코드를 수정해 주었다. 이번에는 Snowflake에서 S3의 csv 파일을 가져와 데이터베이스로 저장할 수 있도록 Worksheets를 작성할 것이다. [개인sanseo.tistory.comAnalytics Schema에 저장할 Table승 / 패 / 무 여부에 따른..
이전에 S3 - Snowflake - Preset 인프라를 구성하고, 스크래핑 코드를 수정해 주었다. 이번에는 Snowflake에서 S3의 csv 파일을 가져와 데이터베이스로 저장할 수 있도록 Worksheets를 작성할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (3) - 인프라 구성(S3, Snowflake, Preset)이전에 FC Online API를 활용해 스크래핑하고 S3 버킷에 저장하는 Python 코드를 작성하였다. 이번에는 S3-Snowflake-Preset 인프라를 구성할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (2) - S3 버킷 생sanseo.tistory.com수정 사항Primary Key - matchId -> idmatchId가 매치 별 ..
