[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)
[TIL - 67일 차] Kafka와 Spark Streaming 기반 스트리밍 처리 (2)
Udemy 데이터 시스템 발전 여정 살펴보기Udemy 데이터 팀 빌딩 여정2014년 8월 : 데이터 엔지니어링 팀 설립데이터 웨어하우스 (Redshift) 도입데이터 소스 추가 요청을 받는 슬랙 채널 개설ETL 프로세스 개발처음에는 crontab으로 관리하다 Pinterest의 Pinball로 이전기본 개발 언어는 파이썬, 지금은 Airflow 사용B2B 강사 보수 계산 (소비율에 따라 계산)중요 파이프라인의 경우 SLA (Service Level Agreement) 설정 후 지표 계산백엔드/프런트엔드 엔지니어링 팀과 다양한 협업 시작Incremental Update를 하기 위해 프로덕션 DB 테이블 스키마 변경updated_at과 deleted 필드 추가사용자 이벤트 로그를 프로덕션 DB에서 nginx..
