Redshift COPY 명령으로 테이블에 적재Redshift Serverless 생성 및 접속Default VPC 생성이전에 모든 VPC를 삭제해서 Redshift를 생성할 때 선택할 VPC가 존재하지 않았다. 그래서 임의로 만들어서 하려고 했다가 오류가 발생해서 계속 검색하던 중 아래의 명령어로 default vpc를 만들 수 있다는 것을 알게 되었다.aws ec2 create-default-vpc 기본 VPC - Amazon Virtual Private Cloud기본 VPC Amazon VPC를 사용하기 시작하는 경우 각 AWS 리전에 기본 VPC가 있습니다. 기본 VPC는 각 가용 영역의 퍼블릭 서브넷, 인터넷 게이트웨이 및 DNS 확인 활성화 설정과 함께 제공됩니다. 따라서docs.aws.ama..
Snowflake 운영과 관리Snowflake 특징 소개Snowflake 소개2014년에 클라우드 기반 데이터 웨어하우스로 시작하였고, 지금은 데이터 클라우드라고 부를 정도로 발전하였다. 글로벌 클라우드(AWS, GCP, Azure)에서 모두 동작하며, ETL과 다양한 데이터 통합 기능을 제공한다.Snowflake 특징 (1)스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델SQL 기반으로 빅데이터 저장, 처리, 분석을 가능하게 해 줌비구조화된 데이터 처리와 머신러닝 기능도 제공CSV, JSON, Avro, Parquet 등과 같은 다양한 데이터 포맷 지원배치 데이터 중심이지만 실시간 데이터 처리 지원Time Travel : 과거 데이터 쿼리 기능으로 트렌드를 분석하기 쉽게 해 줌웹 콘솔 이외에도..
반복적으로 적었지만, "장고(웹) / 크롤링 / 깃"을 공부하기 위한 목적으로 진행하는 프로젝트이기 때문에 반복적으로 시간이 오래 걸리는 반복 작업은 최대한 제거하려고 하였고 프론트 부분은 데이터만 잘 표시될 수 있도록 진행하였다. 그래서 처음 생각했던 기획과 상당히 달라졌는데, 프로젝트의 방향을 잡고 목표한 바를 제대로 이루기 위해 이번 게시물을 작성하게 되었다. 지금까지 완료한 사항과 더불어 수정된 사항, 앞으로 진행할 사항 및 과정을 작성해볼 것이다.프로젝트 진행첫 계획계획서를 토대로 계획했던 내용을 적어보았다. [개인 프로젝트] 공모전 크롤링 (1) - 계획서이전에 Selenium을 배우고 나서 복습 겸 영화 사이트 스크래핑을 진행했었다. 이번에는 Django로 가져온 데이터를 웹으로 제공하는 프..
