오늘 강의는 "선형대수 기초"이지만, 이미 대학교에서 강의를 수강하기도 했고 수식이 많아 모두 정리하기에 무리가 있어 학습은 영상으로만 진행하였다. 대신에 머신러닝 과제인 "음식 배달에 걸리는 시간 예측하기"를 진행한 내용을 TIL에 적어보려고 한다.음식 배달에 걸리는 시간 예측하기문제 이해실습 문제 소개목표 : 음식 배달에 걸리는 시간 예측하기이유 : 배달 시간을 정확히 예측하는 것은 사용자의 경험에 많은 영향을 미침사용자의 경험 under-prediction : 예측된 배달 시간보다 실제 배달 시간이 더 걸린 경우over-prediction : 예측된 배달 시간보다 실제 배달 시간이 덜 걸린 경우under-prediction이 over-prediction보다 두 배로 사용자의 경험에 안 좋은 영향을..
머신러닝 기초머신러닝 (기계 학습)Machine Learning경험을 통해 자동으로 개선하는 컴퓨터 알고리즘 연구학습 데이터입력 벡터 : x1, x2, ..., xn목표 값 : t1, t2, ..., tn머신러닝 알고리즘의 결과는 목표 값을 예측하는 함수 y(x)y(x1) ~ t1, y(x2) ~ t2, ..., y(x3) ~ t3예제 : 숫자 인식 (MNIST)입력 벡터 : 이미지 Color Matrix (아래 이미지 예시 참고)목표 값 : 이미지가 나타내는 수핵심 개념학습 단계 (Training, Learning Phase) : 함수 y(x)를 학습 데이터에 기반해 결정하는 단계테스트 데이터셋 : 모델을 평가하기 위해 사용하는 별도의 데이터일반화 (Generalization) : 모델이 새로운 데이터..
Spark Streaming 소개와 Kafka 연동Spark Streaming 소개Spark버클리 대학의 AMPLab에서 Apache 오픈소스 프로젝트로 2013년 시작하둡의 뒤를 잇는 2세대 빅데이터 기술YARN 등을 분산환경으로 사용Scala로 작성됨빅데이터 처리 관련 다양한 기능 제공구성Spark Core, Spark SQL, Spark ML, Spark StreamingSpark Streaming실시간 데이터 스트림 처리를 위함 Spark APIKafka, Kinesis, Flume, TCP 소켓 등의 다양한 소스에서 발생하는 데이터 처리 가능Join, Map, Reduce, Window와 같은 고급 함수 사용 가능Spark Streaming 동작 방식데이터를 마이크로 배치로 처리하는 과정을 반복..
