공모전 크롤링 개선 방안프로젝트 소개프로젝트 요약"링커리어", "위비티", "씽굿"에 게시된 공모전 데이터를 한 페이지에서 확인검색 기능 및 추천 검색어 기능을 제공하여 필요한 공모전을 빠르게 탐색표시된 공모전을 클릭하면, 해당 공모전 사이트로 이동사용한 기술Frontend : HTML, CSSBackend : Django (5.0.4), sqliteCrawling : beautifulsoup (4.12.3), selenium (4.20.0)Data-Processing : pandas (2.2.2) GitHub - ss721229/competition-webContribute to ss721229/competition-web development by creating an account on GitHub..
이전에 EC2와 crontab을 사용해서 API의 데이터를 S3에 적재하는 작업을 진행하였다. 이번에는 EC2와 crontab을 사용해서 S3의 csv 파일을 Snowflake 테이블로 저장하는 작업을 진행할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (6) - EC2 / crontab 자동화 1이전에 Snowflake의 analytics Schema의 테이블을 생성하는 작업을 하였다. 이번에는 작성했던 python 파일(S3 적재)이 한 시간마다 자동으로 실행될 수 있도록 EC2 인스턴스를 생성하고 Crontab 서비스를 실sanseo.tistory.com수정사항scraping.pyAPI의 Schema에는 matchResult가 0, 1, 2만 존재했지만, 실제로 확인했을 때 4가 존..
이전에 Snowflake의 analytics Schema의 테이블을 생성하는 작업을 하였다. 이번에는 작성했던 python 파일(S3 적재)이 한 시간마다 자동으로 실행될 수 있도록 EC2 인스턴스를 생성하고 Crontab 서비스를 실행해 볼 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (5) - Snowflake analytics 테이블 생성이전에 Snowflake에서 S3의 csv 파일을 가져와 데이터베이스에 저장하는 Worksheets를 작성하였다. 이번에는 Snowflake의 raw_data Schema에 존재하는 데이터를 가지고 analytics Schema에 생성할 데이터를 만들어sanseo.tistory.comEC2 인스턴스 생성 및 Crontab 서비스 실행데브코스 프로젝트..
이전에 Snowflake에서 S3의 csv 파일을 가져와 데이터베이스에 저장하는 Worksheets를 작성하였다. 이번에는 Snowflake의 raw_data Schema에 존재하는 데이터를 가지고 analytics Schema에 생성할 데이터를 만들어볼 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (4) - Snowflake 기본 설정 및 COPY이전에 S3 - Snowflake - Preset 인프라를 구성하고, 스크래핑 코드를 수정해 주었다. 이번에는 Snowflake에서 S3의 csv 파일을 가져와 데이터베이스로 저장할 수 있도록 Worksheets를 작성할 것이다. [개인sanseo.tistory.comAnalytics Schema에 저장할 Table승 / 패 / 무 여부에 따른..
