Method

[Airflow] S3ToRedshiftOperator 사용 예시

2024.11.07

S3ToRedshiftOperator 사용 예시Airflow에서 S3에 존재하는 파일을 Redshift로 COPY 하는 방법은 크게 두 가지 방식이 있다. S3ToRedshiftOperator는 파라미터 정보만 적어주면 되므로 실제 쿼리 작업이 필요한 Hook 사용 방식보다 간편하게 사용할 수 있다. S3Hook과 PostgresHook을 활용해 S3와 Redshift를 각각 연결한 뒤 COPY Query 실행S3ToRedshiftOperator를 사용한 간단하게 COPYS3ToRedshiftOperator 사용 예시라이브러리 선언from airflow.providers.amazon.aws.transfers.s3_to_redshift import S3ToRedshiftOperatorS3ToRedshift..

CS/네트워크

[네트워크/Web] HTTP(HyperText Transfer Protocol) 개념과 동작

2024.04.04

HTTP(HyperText Transfer Protocol)란?HTTP는 텍스트 기반의 통신 규약으로 인터넷에서 데이터를 주고받을 수 있는 프로토콜이다. 계층의 최상단인 Application Layer에 해당하며, Client-Server 모델을 바탕으로 서버는 클라이언트에게 데이터를 제공한다. 즉, 사용자(클라이언트)가 서버에 데이터를 요청하면 서버에서 데이터를 제공해 주는 것이다. 여기서는 HTTP에 대한 자세한 내용보다는 HTTP에 대한 전반적인 이해를 하는 것을 목표로 한다.프로토콜(Protocol) : 웹 상에서 정보를 주고받기 위한 약속/규약클라이언트(Client) : 정보를 요청하는 컴퓨터서버(Server) : 정보를 제공하는 컴퓨터 HTTP 동작사용자가 브라우저를 통해 URL을 통하거나 다..

[Airflow] S3ToRedshiftOperator 사용 예시

[네트워크/Web] HTTP(HyperText Transfer Protocol) 개념과 동작

티스토리툴바