Local Executor - ParallelismParallelism 이란? Airflow에서 Parallelism은 실행되는 태스크의 병렬 처리 개수를 제어하는 개념이다. 이는 LocalExecutor 클래스의 self.parallelism 값에 따라 달라지며, 그 값에 따라 프로세스 생성 방식을 결정한다.변수 정보Type : StringDefault : 32Env : AIRFLOW__CORE__PARALLELISM self.parallelism == 0 (Unlimited Parallelism)시스템의 리소스 한계 내에서 제한 없이 프로세스 생성리소스가 부족할 경우 성능이 저하될 수 있음self.parallelism > 0 (Limited Parallelism)설정된 parallelism 값까지만 ..
셰이프 파일(shp) 데이터의 위도, 경도 및 주소 추출하기데이터 소개사용한 데이터사용한 데이터 : 서울 실시간 인구데이터해당 데이터는 서울 주요 116개 장소의 실시간 인구를 확인 가능지역구 컬럼이 없기에 구 별 실시간 인구를 확인하기는 힘듦사이트에서 제공하는 cpg, dbf, prj, shp, shx 데이터를 사용해 지역구 추출데이터 형태 확인geopandas 라이브러리를 활용해 다운로드 받은 데이터의 형태를 확인위도, 경도 데이터는 "POLYGON (( ~ ))" 형태로 존재하는 것을 확인import geopandas as gpdD1 = gpd.read_file("./서울시 주요 116장소 영역.shp", encoding='UTF-8')print(D1.tail())CATEGORY AREA_CD AR..
이진 탐색이진 탐색을 사용하면 리스트 내에서 데이터를 매우 빠르게 탐색할 수 있다. 이진 탐색에 대해 알아보기 전에 가장 기본 탐색 방법인 순차 탐색에 대해 먼저 이해할 필요가 있다.순차 탐색 : 리스트 내의 특정 데이터를 찾기 위해 앞에서부터 데이터를 하나씩 차례대로 확인하는 방법데이터의 정렬 여부와 관계없이 가장 앞에 있는 원소부터 하나씩 확인데이터의 개수가 N개일 때, 최대 N번의 비교 연산이 필요하므로 시간 복잡도는 O(N)개념 정리이진 탐색배열 내부의 데이터가 정렬되어 있어야만 사용할 수 있는 알고리즘필요한 변수 : 시작점, 끝점, 중간점찾으려는 데이터와 중간점 위치에 있는 데이터를 반복적으로 비교단계마다 2로 나누는 것과 동일하므로 시간 복잡도는 O(logN)예시 : 값이 4인 카드 탐색시작점..