ETL / ELT어떤 데이터 소스들을 ETL로 읽어올 것인가?ETL로 수집한 데이터를 어떻게 ELT로 요약하면 좋을까?주제내가 선정한 주제는 "실내 클라이밍 암장"이다. 최근 관심이 생긴 클라이밍 암장에 대한 데이터에 대한 ETL/TLT를 작성해보려고 한다.ETL / ELT실제로 클라이밍을 하면서 어느 시간 대에는 사람이 없고, 어느 시간대에는 사람이 많은 것을 경험하였고 이를 데이터로 표현하면 “사람이 없는 시간대에 피해서 갈 수 있지 않을까..?” 하는 바람을 담아 작성하였다. 또한 “요일 별 일일권/기간권 입장 수”를 통해서 일시적으로 사람이 많은 것인지를 확인해볼 수 있을 것이다.
데이터 팀의 역할데이터 조직의 비전데이터 조직의 비전(목표)은 신뢰할 수 있는 데이터를 바탕으로 부가 가치를 생성하는 것이다. 다시 말해, 직접적으로 매출을 내는 것이 아니라 매출을 더 높이는 부가 가치를 만들어낸다. 중요한 것은 매출을 내는 것이기 때문에 데이터 조직에서 크게 인정을 받기는 힘들 수 있다.데이터 조직이 하는 일데이터 조직이 하는 일 (1)고품질 데이터를 기반으로 의사 결정권자에게 입력을 제공하며, 이를 결정 과학(Decision Science)이라고 부르기도 한다. 예를 들어 데이터 기반 지표 정리, 대시보드와 리포트 생성 등을 수행하여 지금 맞는 방향으로 가고 있는지, 어떻게 움직여야 하는지 등을 제공한다.데이터를 고려한 결정(Data Informed Decisions) vs 데이터 ..
DockerContainer 기반의 경량화된 이미지를 통해서 제공하는 서비스이다. Docker를 사용하면 환경에 구애받지 않고 애플리케이션을 신속하게 배포 및 확장할 수 있으며, 모니터링 및 관리를 편하게 할 수 있다. Container가 많아지면 복잡도가 높아지는데, 이를 하나로 관리할 수 있는 서비스가 Kubernetes이다.용어이미지(Image)이미지는 컨테이너를 생성할 때 필요한 요소로 컨테이너의 목적에 맞는 바이너리와 의존성이 설치되어 있다. 여러 개의 계층으로 된 바이너리 파일이다. 이미 존재하는 이미지가 많기 때문에 가져다 사용해도 되고, 직접 만들어도 된다.컨테이너(Container)호스트와 다른 컨테이너로부터 격리된 시스템 차원과 네트워크를 사용하는 프로세스이다. 이미지는 읽기 전용으로 ..
배포부터 서비스 구성까지AWS service를 사용하기 전에 이를 연결할 백엔드 프로젝트를 생성하고, 초기 세팅을 한 뒤 github의 repo에 업로드한다. 강의에서는 spring boot를 사용하였다. VPCAvailable Zone(AZ)은 두 개(2a, 2c)가 존재하며, 각각의 AZ는 public subnet과 private subnet으로 나뉜다.VPC 생성미리보기 형태는 다음과 같고 구성도처럼 AZ가 두 개 존재하고, 내부에 private subnet과 public subnet이 하나씩 존재하는 것을 확인할 수 있다. 또한 하나의 AZ에서 NAT 게이트웨이를 생성해 주었다. NAT 게이트웨이는 AWS에서 제공하는 네트워크 주소 변환 서비스로 private subnet 내의 인터넷, AWS s..
