DB Migration을 위한 alembic 개념과 활용개념Migration (마이그레이션)마이그레이션은 데이터, 소프트웨어, 시스템 또는 인프라 등의 기술적 자원을 다른 시스템으로 이동하는 과정을 의미한다. 데이터 마이그레이션 : DB, Storage에서 데이터를 한 위치에서 다른 위치로 이동하는 프로세스스키마 마이그레이션 : DB의 테이블 추가, 수정, 삭제 등 DB 구조 변경을 적용하는 프로세스소프트웨어 마이그레이션 : 기존의 시스템을 새로운 버전이나 다른 플랫폼으로 이전하는 프로세스시스템 마이그레이션 : 기존의 하드웨어나 운영체제를 새로운 하드웨어, 운영체제로 이전하는 프로세스인프라 마이그레이션 : 네트워크, 서버, 스토리지 등 IT 인프라를 한 위치에서 다른 위치로 이동하는 프로세스FastAPI..
인프라 구축기AirflowAirflow는 Web server에 Admin 계정으로 접속 시 Security > List Users에서 사용자 관리가 가능하다. 그러나 기본 Admin 계정은 매우 단순하기 때문에 보안을 위해 수정이 필요하다. 그래서 관리 위한 Admin 계정 하나와 3명의 사용자를 위한 User 계정을 생성하려고 한다. 기본 Admin 계정 : ID - airflow, PW - airflow사용자 생성Airflow의 사용자 생성은 UI로 가능하기 때문에 어렵지 않음관리자 계정은 Role = Admin, 사용자(개발자) 계정은 Role = User로 설정역할 별 권한Admin사용자 관리, DAG / Jobs 관리, Variables 및 Connections 관리, 권한 관리, 데이터 관리,..
Redshift에 생성된 Schema와 Table 정보 확인 방법Schema 정보 확인 방법Schema 정보 확인 Query확인 가능한 정보 : nspname, nspowner, nspaclselect * from pg_namespace;Table 정보 확인 방법Table 정보 확인 Query확인 가능한 정보 : database, schema, table_id, table, encoded, diststyle, sortkey1, max_varchar 등아래 이미지에는 4개의 정보만 가져온 것select * from svv_table_info;각 Column의 데이터 타입 확인 QuerySELECT column_name, data_typeFROM information_schema.columnsWHERE ..
