프로젝트 설명 및 회고프로젝트 소개깃허브 링크 GitHub - ss721229/FC-Online-Match-DashboardContribute to ss721229/FC-Online-Match-Dashboard development by creating an account on GitHub.github.com진행 기간2024.05.25 ~ 2024.06.05 (11일)프로젝트 진행 과정 (링크)주제FC Online 공식 경기 매치 상세 기록 분석 대시보드프로젝트 인원 구성개인 프로젝트활용 기술 및 프레임워크Crawling : requests (2.25.1)Data-Processing : pandas (2.2.2), boto3 (1.34.117), snowflake-connector (3.10.1)프로젝트..
이전에 인프라의 모든 자동화를 마치고 결과 분석을 위해 시간을 들여 데이터를 수집하였다. 이번에는 마지막으로 수집된 데이터를 바탕으로 Preset 차트를 분석해 볼 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (8) - Preset Dashboard, 자동화이전에 S3의 csv 파일을 Snowflake의 테이블로 COPY하는 작업을 자동화하였다. 이번에는 Preset Dashboard를 제작하고, Snowflake의 Analytics 테이블 데이터를 일정 시간마다 가져오도록 할 것이다. [개인 프로sanseo.tistory.com결과 분석Snowflakeraw_data 테이블 row 수테이블의 컬럼이 많아져 분리해 놓은 것이기 때문에 모두 같아야 정상적으로 데이터가 수집된 것이다. 모두 ..
이전에 S3의 csv 파일을 Snowflake의 테이블로 COPY하는 작업을 자동화하였다. 이번에는 Preset Dashboard를 제작하고, Snowflake의 Analytics 테이블 데이터를 일정 시간마다 가져오도록 할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (7) - EC2 / crontab 자동화 2이전에 EC2와 crontab을 사용해서 API의 데이터를 S3에 적재하는 작업을 진행하였다. 이번에는 EC2와 crontab을 사용해서 S3의 csv 파일을 Snowflake 테이블로 저장하는 작업을 진행할 것이다. [개인 프로젝sanseo.tistory.comPreset Dashboard, 자동화Preset Dashboard 이전에 인프라 구성을 완료하여 Snowflake와 ..
이전에 EC2와 crontab을 사용해서 API의 데이터를 S3에 적재하는 작업을 진행하였다. 이번에는 EC2와 crontab을 사용해서 S3의 csv 파일을 Snowflake 테이블로 저장하는 작업을 진행할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (6) - EC2 / crontab 자동화 1이전에 Snowflake의 analytics Schema의 테이블을 생성하는 작업을 하였다. 이번에는 작성했던 python 파일(S3 적재)이 한 시간마다 자동으로 실행될 수 있도록 EC2 인스턴스를 생성하고 Crontab 서비스를 실sanseo.tistory.com수정사항scraping.pyAPI의 Schema에는 matchResult가 0, 1, 2만 존재했지만, 실제로 확인했을 때 4가 존..
