이번에는 FC Online API를 requests 모듈을 사용해 스크래핑하여 S3 버킷에 저장하는 Python 코드를 작성할 것이다. 데이터 저장은 csv 파일에 진행되고, S3에서 파일을 가져와 아래에 덧붙이는 방식이다. [개인 프로젝트] FC Online 공식 경기 분석 (1) - 계획서프로젝트 계획'서울시 상권 대시보드' 프로젝트를 진행하면서 아쉬웠던 점이 자동화를 구현하지 못했던 것이다. 또한 지금까지 API를 사용해서 프로젝트를 진행해 본 적이 없었다. 그래서 이번sanseo.tistory.comS3 버킷 & IAM 사용자 생성스크래핑을 진행하여 만들어진 csv 파일을 저장할 S3 버킷을 생성하고, Python에서 연결할 수 있도록 IAM 사용자를 생성할 것이다. S3에 대해 간단히 알고 싶다..
프로젝트 계획'서울시 상권 대시보드' 프로젝트를 진행하면서 아쉬웠던 점이 자동화를 구현하지 못했던 것이다. 또한 지금까지 API를 사용해서 프로젝트를 진행해 본 적이 없었다. 그래서 이번 개인 프로젝트로는 넥슨 Open API 중 FC Online API를 사용하여 데이터 자동 적재 및 대시보드 제작을 진행해보려고 한다. ss721229/FC-Online-Match-DashboardContribute to ss721229/FC-Online-Match-Dashboard development by creating an account on GitHub.github.com주제FC Online 공식 경기 매치 상세 기록 분석 대시보드목적 및 데이터 수집목적공식 경기(랭크전)의 주요 승리 / 패배 요인 파악 (패스..
이전에 검색어가 포함된 제목을 가진 공모전을 찾아 페이지네이션 형태로 제공하도록 기능을 추가하였다. 이번에는 공모전 데이터가 오류 없이 모두 스크래핑되는지 확인하고, 웹페이지 디자인 마무리 작업을 진행하려 한다. [개인 프로젝트] 공모전 크롤링 (10) - 세부 페이지(검색 기능, 페이지네이션)이전에 세부 페이지 html 파일을 작성하고, 메인 페이지에서 검색을 진행하면 해당 데이터를 받을 수 있도록 작성하였다. 이번에는 검색어가 포함된 제목을 가진 공모전을 찾아 페이지네이션 형sanseo.tistory.com데이터 스크래핑이전에 작성했던 코드로 플랫폼 별 데이터 수집을 진행하였다. 실행한 코드는 다음과 같다. if __name__ == "__main__": title, url, applicatio..
이전에 세부 페이지 html 파일을 작성하고, 메인 페이지에서 검색을 진행하면 해당 데이터를 받을 수 있도록 작성하였다. 이번에는 검색어가 포함된 제목을 가진 공모전을 찾아 페이지네이션 형태로 제공하도록 기능을 추가할 것이다. [개인 프로젝트] 공모전 크롤링 (9) - 세부 페이지(검색, 더보기)이전에 스크래핑한 데이터를 csv로 저장하는 작업과 임시로 표시해 뒀던 부분에 수집한 데이터를 바탕으로 실제 공모전의 제목과 날짜가 표시되도록 하였다. 이번에는 세부 페이지 html 파일을sanseo.tistory.com검색 기능 & 페이지네이션검색 기능과 페이지네이션을 구현하면서 같은 부분을 수정하였기 때문에 함께 설명하려고 한다.mainpage > views.py페이지네이션 적용을 위한 라이브러리가 있어 활..
