머신러닝 기초머신러닝 (기계 학습)Machine Learning경험을 통해 자동으로 개선하는 컴퓨터 알고리즘 연구학습 데이터입력 벡터 : x1, x2, ..., xn목표 값 : t1, t2, ..., tn머신러닝 알고리즘의 결과는 목표 값을 예측하는 함수 y(x)y(x1) ~ t1, y(x2) ~ t2, ..., y(x3) ~ t3예제 : 숫자 인식 (MNIST)입력 벡터 : 이미지 Color Matrix (아래 이미지 예시 참고)목표 값 : 이미지가 나타내는 수핵심 개념학습 단계 (Training, Learning Phase) : 함수 y(x)를 학습 데이터에 기반해 결정하는 단계테스트 데이터셋 : 모델을 평가하기 위해 사용하는 별도의 데이터일반화 (Generalization) : 모델이 새로운 데이터..
데브코스 3차 기간 동안의 회고3차 기간 : 2024.06.03 ~ 2024.06.30잘한 점프로젝트 오프라인 진행데브코스 2차 팀 기간에서 잘한 점 중 하나가 멘토님과 팀원들을 직접 만나 이야기해 본 것이었다. 그래서 3차 프로젝트를 할 때, 여건이 된다면 오프라인으로 프로젝트를 진행하고 싶었다. 그래서 프로젝트 팀 구성을 할 때, 오프라인이 생각 있는 사람 위주로 결성을 하게 되었다. 개인 일정이나 거주지 이슈로 모든 사람들과 오프라인으로 진행할 수는 없었지만, 온라인으로만 진행하는 것보다는 이점이 있다는 것을 느낄 수 있었다.나의 의견에 대한 즉각적인 피드백이 가능하다.프로젝트 이해나 친목을 도모하기에 유리하다.최종 프로젝트는 프로그래머스의 강의장을 오픈하여 오프라인으로 프로젝트를 진행할 수 있다...
Spark Streaming 소개와 Kafka 연동Spark Streaming 소개Spark버클리 대학의 AMPLab에서 Apache 오픈소스 프로젝트로 2013년 시작하둡의 뒤를 잇는 2세대 빅데이터 기술YARN 등을 분산환경으로 사용Scala로 작성됨빅데이터 처리 관련 다양한 기능 제공구성Spark Core, Spark SQL, Spark ML, Spark StreamingSpark Streaming실시간 데이터 스트림 처리를 위함 Spark APIKafka, Kinesis, Flume, TCP 소켓 등의 다양한 소스에서 발생하는 데이터 처리 가능Join, Map, Reduce, Window와 같은 고급 함수 사용 가능Spark Streaming 동작 방식데이터를 마이크로 배치로 처리하는 과정을 반복..
