@task 개념과 사용 예시, 주의할 점Airflow는 워크플로우의 각 단계를 Task로 정의하며, Task를 추가하기 위해 Operator를 사용한다. Airflow 2.0부터 TaskFlow API가 도입되어 Task Decorator인 @task를 활용해 Task를 정의할 수 있게 되었다. 이번 글에서는 @task의 개념과 사용 방법, 예시, 유스케이스를 소개하려고 한다.Airflow Taskflow 공식 문서Python Decorator와 @task의 개념Python Decorator 개념Python의 Dacorator는 함수의 기능을 확장하거나 수정하기 위해 사용하는 디자인 패턴이다. 보통 함수 위에 "@이름" 형태로 선언되며, 함수 호출 전후에 특정 작업을 수행하거나 함수의 동작을 변경할 수 ..
Redshift 특정 테이블의 권한 생성 문제이전에 Redshift 그룹에 권한을 추가해 주었어도 Superuser가 아닌 그룹 내 다른 사용자가 만든 테이블은 접근할 수 없었던 문제에 대한 해결 방법을 제시하였다. 테이블은 오직 superuser만 생성할 수 있도록 설정하는 것이다. 그러나 실제로 개발자 테이블을 생성하거나 수정하는 상황이 필요하기에 근본적으로 해결할 수 있는 방법을 찾아보았다. [DB] Redshift 특정 테이블의 권한이 생성되지 않는 문제Redshift 특정 테이블의 권한이 생성되지 않는 문제Redshift에서 그룹에 대한 권한을 추가했지만, 특정 테이블에 대한 권한만 추가되지 않는 문제가 발생하였다. 결론적으로는 권한을 생성하는sanseo.tistory.com새로운 테이블에 대한..
프록시(Proxy)의 개념과 방식최근 Reverse Proxy의 역할을 수행하는 Nginx를 사용해 보았다. AWS Private EC2 서버에 대한 정보를 외부에 노출시키지 않기 위해 사용한 것이다. 반대로 클라이언트의 정보를 내부에 노출시키지 않는 Forward Proxy도 있다. Proxy, Forward Proxy, Reverse Proxy에 대한 개념과 각 방식의 차이점에 대해 알아보자.프록시 (Proxy)란?프록시 (Proxy)란?프록시(Proxy) : 서버와 클라이언트 사이의 중개 역할 프록시 서버(Proxy Server) : 중개 기능을 하는 장치 또는 응용 프로그램특징서버-클라이언트 간 통신 중 프록시 서버를 활용하여 보안 상의 문제를 방지할 수 있음클라이언트는 프록시 서버를 "Serve..
개요데이터 엔지니어에게 필수 역량 중 하나가 SQL 활용 능력이다. 데브코스, 프로젝트 등을 진행하며 SQL을 어느 정도 다뤄보긴 했지만, 시간을 들여 차근차근 살펴본 적은 없었다. 그래서 이번에 SQLD를 준비하면서 SQL에 대한 내용을 살펴보면, 쿼리 작성에 있어 이점이 많이 있을 것 같아 준비하게 되었다.SQLD 합격률최근 SQLD 합격률을 살펴보면 40 ~ 60% 사이로 높은 수준이다. 이전에 취득했던 ADsP보다는 낮은 편이지만, 어렵지 않게 취득할 수 있을 것이라 생각한다.합격률은 아래 사이트에서 확인 가능하다! 민간자격검색 | 자격정보 | 민간자격 정보서비스민간자격검색 home자격정보민간자격검색www.pqi.or.krSQLD 준비 과정 및 후기사전 지식지금까지 SQL를 어느 정도 사용했기에 ..