인프라 구축기AirflowAirflow는 Web server에 Admin 계정으로 접속 시 Security > List Users에서 사용자 관리가 가능하다. 그러나 기본 Admin 계정은 매우 단순하기 때문에 보안을 위해 수정이 필요하다. 그래서 관리 위한 Admin 계정 하나와 3명의 사용자를 위한 User 계정을 생성하려고 한다. 기본 Admin 계정 : ID - airflow, PW - airflow사용자 생성Airflow의 사용자 생성은 UI로 가능하기 때문에 어렵지 않음관리자 계정은 Role = Admin, 사용자(개발자) 계정은 Role = User로 설정역할 별 권한Admin사용자 관리, DAG / Jobs 관리, Variables 및 Connections 관리, 권한 관리, 데이터 관리,..
인프라 구축기인프라 구축기 (4)에서 구성된 인프라에서 Bastion Host 터널링을 통한 RDS, Redshift Serverless, Airflow (EC2) 접근을 확인할 수 있었다. 이번엔 Private Subnet에 구성돼 있는 Airflow EC2에서 Private Subnet에 위치한 RDS, Redshift와 S3 Endpoint를 통해 S3에 접근이 가능한지 확인해 볼 것이다. 또한 NAT Gateway를 통한 외부 통신이 가능한지도 확인할 것이다. 인프라 구축기 (4) - Bastion Host에서 Private Subnet 접근 확인인프라 구축기인프라 구축기 (3)까지 진행하면서 Terraform을 활용해 인프라 구성을 완료하였다. 이번엔 VPC 내부의 연결이 제대로 이루어졌는지 확..
인프라 구축기인프라 구축기 (3)까지 진행하면서 Terraform을 활용해 인프라 구성을 완료하였다. 이번엔 VPC 내부의 연결이 제대로 이루어졌는지 확인해보려고 한다. 특히 보안 그룹이 제대로 설정돼있지 않으면 접근이 불가능하다. 인프라 구축기 (4)에서는 Bastion Host를 통해 Redshift, RDS, Airflow (ec2)에 접근이 가능한지 확인해보려고 한다. 인프라 구축기 (3) - Terraform을 활용한 Instance, Storage 구성인프라 구축기인프라 구축기 (2)에서 Terraform을 활용하여 VPC를 구성하는 코드를 작성하였다. 이어서 Instance와 Storage를 구성하는 코드를 작성해 볼 것이다. 추가로 vpc, instance, storage 폴더로 구분하sa..
Redshift에 생성된 Schema와 Table 정보 확인 방법Schema 정보 확인 방법Schema 정보 확인 Query확인 가능한 정보 : nspname, nspowner, nspaclselect * from pg_namespace;Table 정보 확인 방법Table 정보 확인 Query확인 가능한 정보 : database, schema, table_id, table, encoded, diststyle, sortkey1, max_varchar 등아래 이미지에는 4개의 정보만 가져온 것select * from svv_table_info;각 Column의 데이터 타입 확인 QuerySELECT column_name, data_typeFROM information_schema.columnsWHERE ..
