Redshift에 생성된 Schema와 Table 정보 확인 방법Schema 정보 확인 방법Schema 정보 확인 Query확인 가능한 정보 : nspname, nspowner, nspaclselect * from pg_namespace;Table 정보 확인 방법Table 정보 확인 Query확인 가능한 정보 : database, schema, table_id, table, encoded, diststyle, sortkey1, max_varchar 등아래 이미지에는 4개의 정보만 가져온 것select * from svv_table_info;각 Column의 데이터 타입 확인 QuerySELECT column_name, data_typeFROM information_schema.columnsWHERE ..
TIL (2024-08-05 ~ 2024-08-09)2024-08-05 (월)오늘 한 일EC2에 Metabase 구축Ubuntu에 Docker 설치 (참고 링크, 공식 문서)Docker에 Metabse 구축 (참고 링크)Metabase 웹 접속을 위한 인바운드 그룹에 3000 포트 추가 (참고 링크)미인증 중개소의 매물 개수 테이블 생성 및 시각화미인증 중개소의 매물 개수를 나타내는 테이블 생성생성한 테이블을 바탕으로 시각화 진행작성했던 create_transformed_and_analytics_table DAG에 해당 테이블 쿼리 추가 및 테스트 완료AI Model 학습을 위한 테이블 쿼리 작성컬럼 : 매물 ID, 층 수, 면적, 편의시설 종류 개수, 보증금, 월세, 관리비, 지역구, 판매 여부컬럼은 ..
데브코스를 통해 데이터 엔지니어링에 대한 지식을 쌓았으니 실무에서의 경험도 쌓고 싶었다. 그래서 하반기에 진행되는 당근 썸머테크 인턴십, ICT 학점연계 인턴십에 지원하였다. 지원 서류 형태는 비슷하였다. 이력서, 자기소개서, 포트폴리오를 제출하는 형태였는데, 모두 형식과 내용에 대한 규정 없이 자율적으로 작성하는 것이었다. 첫 서류 작성인데, 작성하는 규정이 없어 당황하기도 했고 어려움이 있었다.인턴십 지원 과정과 결과지원 서류자기소개서총 3개의 질문으로 나눠 작성 : 두 종류의 인턴십 모두 주도적인 학습과 문제 해결을 강조하였음자기소개 및 지원동기주도적인 학습 사례프로젝트를 진행하며 마주했던 문제와 해결 방안자기소개 및 지원동기인공지능을 공부하며 데이터에 관심이 생겼음데이터 분야에 온전히 집중하여 공..
TIL (2024-07-29 ~ 2024-08-02)2024-07-29 (월)오늘 한 일ELT보다 웹 서비스 제작을 우선적으로 지원하여 제작하기로 결정현재 프론트 디자인은 완료되었고, Request/Response 작업은 다른 팀원 분이 진행VPC, RDS 구축이 이루어지면 RDS와 Server를 연결하는 작업 진행(RDS 구축 이후 웹 서비스 제작 이전에 S3 -> RDS 벌크 업데이트 테스트부터 해야 함)웹 제작 지원 (Frontend)메인 페이지와 보증금, 월세를 입력받는 페이지 디자인 (React)웹 제작 지원 (Server)을 위한 작성된 코드 리딩Server 쪽에서 지원할 사항은 RDS 연결과 프론트 - 백엔드 디버깅지원을 위한 django 웹 서버 코드 리딩RDS와 연결하는 방법 탐색 + ...
