[회고] 2024년 10월 (24.10.01 ~ 24.10.31)

2024년 10월 회고

10월 초에 바로 적었어야 했는데, 교내 학술제나 프로젝트를 진행하다 보니 회고 작성이 늦어졌다.

인턴 생활

업무적인 부분은 달라진 부분이 없기 때문에 이전에 작성한 내용을 참고하면 좋을 것 같다.

[회고] 2024년 9월 (24.09.01 ~ 24.09.30)

인턴 생활 중 느낀 점 및 배운 점

지금까지 인턴 생활을 하면서 느낀 점 몇 가지가 있다.

1. 회사에서 업무를 진행하는 첫 번째 목적은 "돈"
   • 인프라 관련 회의를 진행할 때, 가장 많이 언급되는 요소가 비용
   • 빅데이터를 다루기 때문에 인프라 운영 비용을 최소화하는 것이 중요
   • 아는 게 많을수록 적은 비용으로 최적화된 인프라 운영이 가능할 것
2. 데이터 수집기를 작성하며 배운 것
   • DBeaver, Hostman, Fiddler 등 웹, DB 관련 툴의 사용법을 숙지
   • 단순 HTML 추출이 아닌 웹 내부 API나 JS를 파악하고 데이터를 수집하는 방법 이해
   • 어떻게 하면 더 정확하고, 많은 데이터를 추출할 수 있을지 고민하는 과정을 거침
   • -> 수집할 사이트가 많기에 최대한 효율적인 수집기를 작성하는 것이 중요
3. 같이 일하는 사람이 중요
   • 현재 팀에서 같이 일하는 모든 분이 좋고, 편하게 회사 생활을 하도록 도와줌
   • 이후에 취업을 할 때, 연봉이 조금 적더라도 좋은 사람들과 일하면 좋을 것 같다는 생각

DINNO 2024, 디지털 혁신 페스타 참관

[DINNO 2024 참관 후기] 디지털 혁신 페스타에서 얻은 것 (24.10.12)

진로를 향한 여정 (프로젝트, 자격증, 학술제)

프로젝트 : 인프라 구축기 및 Airflow

Terraform으로 인프라를 구축하고, Airflow DAG도 작성하는 역할을 맡아 진행 중이다. 이미 Airflow나 Redshift와 같은 프로젝트 대비 고비용을 쓴 시점에서 오버 엔지니어링이지만, 공부 목적으로 사용하게 되었다. 그러나 비용 최적화를 위해 최대한 노력하였으며, 인프라 보안도 신경 쓰며 아키텍처를 구성하였다. 추가로 프로젝트를 진행하면서 궁금한 점이나 이슈를 해결한 방법들을 각 카테고리 별로 정리해 두었다! 다음에는 바로 이슈를 해결할 수 있을 것이다.

• 비용 최적화 및 보안
  • lambda 함수로 매일 10:00 ~ 22:30에만 인스턴스를 켜둠
  • 각 인스턴스 보안 그룹의 인바운드 그룹을 최소화하여 외부의 접근 차단
  • 팀 (DE, DA) 별 그룹을 만들고, 각 사용자의 계정을 만들어 Redshift 접근
  • 등등

인프라 구축기 (1) - 개요, IAM 설정, 아키텍처 소개

'Data Engineering/Airflow' 카테고리의 글 목록

자격증 : SAA -> SQLD

저번 달에 SAA를 취득하기 위해 공부를 시작했지만, 막상 프로젝트를 진행하다 보니 공부를 진행할 시간이 넉넉지 않았다. 또한 11/17에 SQLD 시험이 있기에 SAA는 12월에 공부를 하여 취득하기로 결정하였다.

코딩 테스트 준비

DINNO 2024 참관 이후 기본기가 중요하다는 생각을 깊게 새기게 되었다. 그래서 매일 코딩테스트 문제 최소 한 문제를 풀려고 노력 중이며, 자연스럽게 알고리즘, 자료구조에 대한 기본기가 갖춰질 것이라 생각한다.

[Baekjoon] 10월 - 1일 1문제 풀기 기록장

[Baekjoon] 11월 - 1일 1문제 풀기 기록장

교내 기획 학술제 참여

이번에 학부에서 진행하는 학술제의 기획 파트에 지원하였다. 주제는 "LLM 기반 교내 민원 서비스"이며, 현재 서류는 통과하여 12/4에 발표를 진행할 예정이다. 이후 결과가 나오면 진행 과정을 글로 정리할 생각이다.