프로젝트 계획'서울시 상권 대시보드' 프로젝트를 진행하면서 아쉬웠던 점이 자동화를 구현하지 못했던 것이다. 또한 지금까지 API를 사용해서 프로젝트를 진행해 본 적이 없었다. 그래서 이번 개인 프로젝트로는 넥슨 Open API 중 FC Online API를 사용하여 데이터 자동 적재 및 대시보드 제작을 진행해보려고 한다. ss721229/FC-Online-Match-DashboardContribute to ss721229/FC-Online-Match-Dashboard development by creating an account on GitHub.github.com주제FC Online 공식 경기 매치 상세 기록 분석 대시보드목적 및 데이터 수집목적공식 경기(랭크전)의 주요 승리 / 패배 요인 파악 (패스..
AWS VPC 비용 청구최근 데이터 엔지니어링을 공부하면서 EC2, Redshift, S3와 같은 서비스를 이용하고 있다. 서비스 종료를 제대로 하지 않으면 비용 폭탄을 맞을 수 있다는 말에 공부가 끝나면 잊지 않고 종료를 해주었다. 그런데 서비스를 종료하고 VPC도 삭제했지만, 매일 VPC 비용이 청구되고 있었다..세부 비용 청구서AWS Console > 결제 및 비용 관리 > 청구서에서 세부 청구 내용을 확인해보니 "$0.005 per Idle public IPv4 address per hour"를 382시간이나 사용했다고 한다. 즉, Public IPv4 주소가 아직 삭제되지 않아 지속적으로 비용이 청구되고 있는 것이다.Public IPv42024년 2월 1일부터 Public IPv4 주소 사용이 ..
Airflow 설치와 프로그래밍SQL 트랜잭션 이해하기중간에 실패하면 불완전 상황에 놓이는 작업이 있다면?은행 이체 과정 : 인출은 성공했지만, 송금에서 문제가 생긴다면?트랜잭션이란?Atomic하게 실행돼야 하는 SQL을 묶어 하나의 작업처럼 처리하는 방법BEGIN과 END 혹은 BEGIN과 COMMIT 사이에 해당 SQL들을 사용ROLLBACK은 BEGIN의 이전 상태로 돌아가라는 SQL 명령Transaction 구간의 SQL 결과는 임시 상태가 되며, 커밋 전에 다른 세션에서 볼 수 없음트랜잭션의 SQL을 최소화하는 것이 좋으며, 위의 경우 auto commit을 사용하는 경우트랜잭션 구현 방법 (1) - autocommitautocommit = True기본적으로 모든 SQL statement가 바로..
개요데브코스에서 24.05.13 ~ 24.05.17 (총 5일) 동안 데이터 웨어하우스(Snowflake)와 preset(=superset)을 사용하여 적재한 데이터를 바탕으로 대시보드를 구축하는 프로젝트를 진행한다. 그러나 3일 차인 어제(24.05.15) 대시보드까지 구성이 완료되었다. 마침 멘토님과 프로젝트 중간 리뷰 시간이 있어 조언을 받았는데, 데이터 적재 자동화 부분을 구성하지 않아 빨리 마무리된 것이라고 말씀하셨다. Airflow를 이용한 자동화는 차후 프로젝트에서 진행될 내용이며, 프로젝트 종료까지 시간이 남았기 때문에 팀원 분들과 협의하여 Airflow를 제외한 자동화 방법엔 무엇이 있는지 탐색하는 시간을 갖기로 하였다. 실제로 적용하는 것은 아니고 공부 차원에서 진행하는 것이다.프로젝트..
