이전에 FC Online API를 활용해 스크래핑하고 S3 버킷에 저장하는 Python 코드를 작성하였다. 이번에는 S3-Snowflake-Preset 인프라를 구성할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (2) - S3 버킷 생성 및 스크래핑 코드 작성이번에는 FC Online API를 requests 모듈을 사용해 스크래핑하여 S3 버킷에 저장하는 Python 코드를 작성할 것이다. 데이터 저장은 csv 파일에 진행되고, S3에서 파일을 가져와 아래에 덧붙이는 방식이다.sanseo.tistory.comS3 - Snowflake - Preset 연결S3 버킷은 이전에 구성하였고, Snowflake는 이전에 강의에서 사용했던 것을 그대로 사용하려고 한다. Snowflake는 일정 ..
프로젝트 계획'서울시 상권 대시보드' 프로젝트를 진행하면서 아쉬웠던 점이 자동화를 구현하지 못했던 것이다. 또한 지금까지 API를 사용해서 프로젝트를 진행해 본 적이 없었다. 그래서 이번 개인 프로젝트로는 넥슨 Open API 중 FC Online API를 사용하여 데이터 자동 적재 및 대시보드 제작을 진행해보려고 한다. ss721229/FC-Online-Match-DashboardContribute to ss721229/FC-Online-Match-Dashboard development by creating an account on GitHub.github.com주제FC Online 공식 경기 매치 상세 기록 분석 대시보드목적 및 데이터 수집목적공식 경기(랭크전)의 주요 승리 / 패배 요인 파악 (패스..
프로젝트 설명 및 회고프로젝트 소개깃허브 링크이번 프로젝트에서는 개발 부분이 없었기 때문에 깃허브를 활용하지는 않았다. 대신에 Readme.md에 프로젝트 내용을 정리하였고, preset의 chart / dashboards / databases / datasets를 .yaml로 export 하여 업로드하였다. GitHub - ss721229/dev-2-2Contribute to ss721229/dev-2-2 development by creating an account on GitHub.github.com진행 기간2024.05.13 ~ 2024.05.17 (5일)주제서울시 상권 분석 대시보드프로젝트 인원 구성총 4명서울시 소득/소비 데이터 가공 및 시각화, 인프라 구성서울시 점포 관련 데이터 가공 및 시..
Snowflake 운영과 관리Snowflake 특징 소개Snowflake 소개2014년에 클라우드 기반 데이터 웨어하우스로 시작하였고, 지금은 데이터 클라우드라고 부를 정도로 발전하였다. 글로벌 클라우드(AWS, GCP, Azure)에서 모두 동작하며, ETL과 다양한 데이터 통합 기능을 제공한다.Snowflake 특징 (1)스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델SQL 기반으로 빅데이터 저장, 처리, 분석을 가능하게 해 줌비구조화된 데이터 처리와 머신러닝 기능도 제공CSV, JSON, Avro, Parquet 등과 같은 다양한 데이터 포맷 지원배치 데이터 중심이지만 실시간 데이터 처리 지원Time Travel : 과거 데이터 쿼리 기능으로 트렌드를 분석하기 쉽게 해 줌웹 콘솔 이외에도..
