Airflow 설치와 프로그래밍SQL 트랜잭션 이해하기중간에 실패하면 불완전 상황에 놓이는 작업이 있다면?은행 이체 과정 : 인출은 성공했지만, 송금에서 문제가 생긴다면?트랜잭션이란?Atomic하게 실행돼야 하는 SQL을 묶어 하나의 작업처럼 처리하는 방법BEGIN과 END 혹은 BEGIN과 COMMIT 사이에 해당 SQL들을 사용ROLLBACK은 BEGIN의 이전 상태로 돌아가라는 SQL 명령Transaction 구간의 SQL 결과는 임시 상태가 되며, 커밋 전에 다른 세션에서 볼 수 없음트랜잭션의 SQL을 최소화하는 것이 좋으며, 위의 경우 auto commit을 사용하는 경우트랜잭션 구현 방법 (1) - autocommitautocommit = True기본적으로 모든 SQL statement가 바로..
프로젝트 설명 및 회고프로젝트 소개깃허브 링크이번 프로젝트에서는 개발 부분이 없었기 때문에 깃허브를 활용하지는 않았다. 대신에 Readme.md에 프로젝트 내용을 정리하였고, preset의 chart / dashboards / databases / datasets를 .yaml로 export 하여 업로드하였다. GitHub - ss721229/dev-2-2Contribute to ss721229/dev-2-2 development by creating an account on GitHub.github.com진행 기간2024.05.13 ~ 2024.05.17 (5일)주제서울시 상권 분석 대시보드프로젝트 인원 구성총 4명서울시 소득/소비 데이터 가공 및 시각화, 인프라 구성서울시 점포 관련 데이터 가공 및 시..
데이터 파이프라인 문제점 해결하기41일 차 강의를 들으면서 간단한 파이썬 데이터 파이프라인 실습을 진행하였다. 그런데 몇 가지 문제점이 존재하는데, Extract / Transform / Load 함수 중에 Load 함수를 수정하면 해결된다. [TIL - 41일 차] 데이터 파이프라인과 Airflow (1)데이터 파이프라인(ETL) 소개데이터 파이프라인(ETL) 이란?Data Pipeline = ETL = Data Workflow = DAG(Directed Acyclic Graph)ELT : Extract(데이터 다운로드), Transform(데이터 포맷 변경), Load(데이터 적재)DAG : Airflow에서sanseo.tistory.com문제점불필요한 헤더 : ['name', 'gender']까지 ..
