데이터 엔지니어링 코딩 테스트 후기2025년 1월 2일부터 8주 간 진행되는 소프티어 부트캠프에 지원하였다. 데이터 엔지니어링 파트의 경우 다른 파트와 다르게 Python으로 코딩 테스트가 진행되었다. 소프티어의 첫 번째 관문인 코딩 테스트를 본 후기를 작성하려고 한다.코딩 테스트 준비백준 문제 풀이원래 파이썬을 사용했기에 기능은 대략적으로 알고 있었고, 코딩 테스트를 준비한 것은 한 달 정도 되었다. 백준의 랭크는 골드 3으로 그렇게 높은 편은 아니라고 생각한다. 그리고 골드보다는 실버 문제를 많이 풀었기에 구현 문제에는 강하지만, 알고리즘에는 약한 편이다. 그래서 알고리즘 문제는 틀리더라도 최소한 아는 건 다 맞추자는 마인드로 소프티어 코딩 테스트 준비를 위해 자료구조와 문자열, 구현 문제를 지속적으..
인프라 구축기이전에 Public EC2에 Tableau를 구축하는 작업을 진행하였다. 그러나 Tableau Server를 사용하려 했지만, Tableau Server와 학생용 Tableau의 제품 키가 호환되지 않아 접속이 되지 않는 이슈가 생겼다. 그래서 오픈소스로 간단히 사용할 수 있는 Metabase로 시각화 툴을 변경하게 되었다. 인프라 구축기 (15) : Public EC2 Tableau 구축인프라 구축기Redshift가 존재하는 VPC 내부에 EC2 및 Tableau를 구축하는 작업을 진행하려고 한다. 원래는 Private Subnet에 EC2를 생성하고, Airflow Web에 접속하는 것처럼 Bastion Host에 Nginx Proxy를 활용해 접sanseo.tistory.com수정된 아..
@task 개념과 사용 예시, 주의할 점Airflow는 워크플로우의 각 단계를 Task로 정의하며, Task를 추가하기 위해 Operator를 사용한다. Airflow 2.0부터 TaskFlow API가 도입되어 Task Decorator인 @task를 활용해 Task를 정의할 수 있게 되었다. 이번 글에서는 @task의 개념과 사용 방법, 예시, 유스케이스를 소개하려고 한다.Airflow Taskflow 공식 문서Python Decorator와 @task의 개념Python Decorator 개념Python의 Dacorator는 함수의 기능을 확장하거나 수정하기 위해 사용하는 디자인 패턴이다. 보통 함수 위에 "@이름" 형태로 선언되며, 함수 호출 전후에 특정 작업을 수행하거나 함수의 동작을 변경할 수 ..
Redshift 특정 테이블의 권한 생성 문제이전에 Redshift 그룹에 권한을 추가해 주었어도 Superuser가 아닌 그룹 내 다른 사용자가 만든 테이블은 접근할 수 없었던 문제에 대한 해결 방법을 제시하였다. 테이블은 오직 superuser만 생성할 수 있도록 설정하는 것이다. 그러나 실제로 개발자 테이블을 생성하거나 수정하는 상황이 필요하기에 근본적으로 해결할 수 있는 방법을 찾아보았다. [DB] Redshift 특정 테이블의 권한이 생성되지 않는 문제Redshift 특정 테이블의 권한이 생성되지 않는 문제Redshift에서 그룹에 대한 권한을 추가했지만, 특정 테이블에 대한 권한만 추가되지 않는 문제가 발생하였다. 결론적으로는 권한을 생성하는sanseo.tistory.com새로운 테이블에 대한..
