빅데이터 처리와 Spark 소개빅데이터와 대용량 분산 시스템빅데이터 정의서버 한대로 처리할 수 없는 규모의 데이터기존의 소프트웨어로는 처리할 수 없는 규모의 데이터4VVolume : 데이터의 크기Velocity : 데이터의 처리 속도Variaty : 구조화 / 비구조화 데이터Veracity : 데이터의 품질빅데이터의 예디바이스 데이터 : 모바일, 스마트 TV, 각종 센서 (IoT) 데이터, 네트워킹 디바이스 등웹수십 조개 이상의 웹 페이지 존재 -> 지식의 바다웹 검색엔진 개발은 진정한 대용량 데이터 처리사용자 검색어와 클릭 정보 자체도 대용량요즘 웹 개발 자체가 NLP 거대 모델 개발의 훈련 데이터로 사용빅데이터 처리의 특징과 해결방안스토리지큰 데이터를 손실 없이 보관할 방법이 필요큰 데이터 저장이 가..
문제1051번: 숫자 정사각형문제 이해N * M 크기의 직사각형 (N : 세로, M : 가로)꼭짓점에 쓰여 있는 수가 모두 같고, 크기가 가장 큰 정사각형을 찾아라풀이직사각형의 숫자를 2차원 리스트로 저장한 후 모든 숫자를 순회하며, 조건에 맞는 정사각형을 찾도록 구현해 보자.시간제한이 2초이며, N, M 2차원 리스트 형태로 숫자를 입력result (반환해 줄 직사각형의 크기)를 1로 초기화첫 숫자부터 차례로 순회가로로 진행하며 같은 숫자가 있는지 확인같은 숫자가 없다면, 다음 숫자로 넘어감 (M보다 작을 때까지 진행)같은 숫자가 있다면, 길이를 구해 세로 아래에 같은 숫자가 존재하는지 확인 (N보다 작을 경우)result를 갱신하며 최댓값을 반환코드left_top을 지정한 뒤 해당 숫자로 이루어진 정..
프로젝트 설명 및 회고프로젝트 소개깃허브 링크 GitHub - lv1turtle/tourist_visitation_patterns_by_weatherContribute to lv1turtle/tourist_visitation_patterns_by_weather development by creating an account on GitHub.github.com진행 기간2024.06.10 ~ 2024.06.14 (5일)주제기상에 따른 관광지 방문 현황 파악프로젝트 인원 구성총 4명Airflow 서버 환경 구축, Github Action 작성한국관광공사 관광지 방문자 수 API 데이터 추출 DAG 작성ERD 작성, dbt를 활용한 ELT 구축기상청 관광지 날씨 정보 API 데이터 추출 DAG 작성나의 역할한국..
구현개념 정리피지컬로 승부하기코딩 테스트에서 구현이란 '머릿속에 있는 알고리즘을 소스코드로 바꾸는 과정'프로그래밍 언어의 문법을 이해하고 문제의 답안 코드를 실수 없이 작성해야 함프로그래밍 문법을 숙지하지 못했거나, 라이브러리 사용 경험이 부족하면 불리완전 탐색 : 모든 경우의 수를 주저 없이 다 계산하는 해결 방법시뮬레이션 : 문제에서 제시한 알고리즘을 한 단계씩 차례대로 직접 수행변수의 표현 범위 C / C++ / Java : int, long long 등 종류에 따라 표현 범위가 달라짐Python : 프로그래머가 직접 자료형을 지정할 필요가 없고 큰 수의 연산을 기본으로 지원파이썬 리스트 크기대체로 코딩 테스트에서는 128 ~ 512MB로 메모리를 제한파이썬은 시스템 내부적으로 아래와 유사한 크기의..
