[회고] 데브코스 2차 기간 (24.05.06 ~ 24.06.02)

데브코스 2차 기간 동안의 회고

원래 프로젝트를 진행한 내용만 회고를 진행하였는데, 어제 데브코스 멘토님과 면담을 하면서 프로젝트뿐만 아니라 해당 기간 동안의 내용을 생각해 보고 정리하는 것도 좋을 것 같다 생각하여 2차 기간 동안의 회고를 진행해보려고 한다.

• 2차 기간 : 2024.05.06 ~ 2024.06.02

잘한 점

오프라인 만남

저번 주 토요일(05.26)에 서울에서 멘토님 주관으로 데브코스 이전 기수 선배님들과 같은 팀원들을 오프라인으로 만나게 되었다. 데브코스는 온라인으로 진행돼서 사람들과 이야기를 많이 하거나 친해질 기회가 많이 없었기 때문에 새로운 느낌을 받았다.

• 데브코스 데이터 엔지니어링 2기 수료생 = 내가 배우고 있는 것을 이미 거친 사람
  
  • 데브코스를 진행하며 고민이나 아쉬웠던 점을 들을 수 있었다.
  • ASAP, 이야기를 먼저 꺼내고 많은 경험을 해보면 정말 많이 얻어 갈 수 있다.
• 데브코스 데이터 엔지니어링 3기 팀원
  • 같은 것을 배우고 고민하는 사람들과 이야기해 보며 동기 부여를 받을 수 있었다.
  • 다양한 환경에서 공부를 하고 있는 사람들을 만나볼 수 있었다.

배운 점 (프로젝트)

클라우드 연결 : S3 -> Snowflake -> Preset

S3 - Snowflake - Preset의 인프라를 구성하면서 Snowflake에서 S3의 데이터를 가져오거나 Preset에서 Snowflake와 연결하는 등의 클라우드 작업을 진행해 보았다. 처음 진행해 본 클라우드 간 연결 작업이었고, 이는 모든 프로젝트의 기본이 되는 지식이다. 그래서 이번 프로젝트에서 배운 가장 귀중한 지식이라고 생각한다.

데이터 적재 자동화

프로젝트를 진행하면서 실제로 구현은 하지 않았지만, 조원들과 관련 내용을 탐색 및 공유하여 Crontab이나 Lambda를 사용해 데이터 적재를 자동화할 수 있다는 것을 알게 되었다. 그런데 Airflow를 배우고 나서 가장 좋은 것은 Airflow라는 걸 깨달았다.. 사용법이 쉽지는 않지만, 웹 UI가 있고 실행 로그나 backfill 등 다양한 기능으로 DAG를 관리할 수 있다는 게 너무 큰 장점 같다. 그래서 가장 많이 사용되나 싶었다.  

아쉬운 점

SQL의 적은 사용

강의에서 SQL은 매우 기본적인 지식이고, SQL을 다루는 능력이 중요하다고 항상 강조하였다. 그런데 데이터 웨어하우스를 다루는 이번 프로젝트에서 생각보다 SQL을 적게 사용한 느낌이 있었다.

• 멘토님이 SQL은 데이터 분석가가 많이 사용하며, 데이터 엔지니어는 엄청 많이 쓰지는 않는다고 한다.
• 기본 지식은 맞지만, 엄청 깊이 있게 알고 있지 않아도 괜찮다.

프로젝트 중 적은 소통

1차 프로젝트는 웹 프로젝트였기에 프론트엔드와 백엔드 간의 소통이 많이 필요해 이야기를 자주 하였다. 그러나 이번 프로젝트는 각 조원이 데이터를 맡아 ETL 및 ELT를 구성하였기 때문에 딱히 이야기가 필요하지 않았다. 그래서 팀프로젝트라는 느낌을 크게 받지는 못했다.

어떻게 개선할 것인가?

이야기 빈도 늘리기

먼저 나서서라도 이야기를 해보는 것도 좋을 것 같다. 또한 이번에 오프라인 만남을 가지면서 조원이 시간만 된다면 프로젝트 기간 중에 오프라인으로 진행해 보는 것도 괜찮을 것 같다는 생각이 들었다.

개인 프로젝트 진행

데이터 적재 자동화를 진행하지 못했었기에 개인 프로젝트로 해당 내용을 학습하고자 한다. 그게 지금 진행하고 있는 FC Online API 활용 대시보드 제작이며, API 활용과 클라우드, 자동화에 대한 내용을 학습할 수 있을 것이다.

질문 정리

인턴 경험

인턴은 기회가 되면 취업 전에 해보는 것이 좋다. 인턴 경험이 있는 사람은 기술적으로 성장하는 것이 아닌 사람들과 생활하며 조직 생활과 협업을 배울 수 있다. 또한 회사 프로세스를 경험할 수 있는 좋은 기회이다. 기술적인 부분은 공부를 하다 보면 알아서 올라간다고 한다!! 걱정 말자!

클라우드 지식 수준

여러 클라우드 서비스가 있지만, 하나만 공부한다면 AWS를 하는 것이 좋다. 또한 여러 서비스 중에 IAM을 잘 알고 있으면 좋다. 하지만 우선으로 공부해야 할 사항은 아니고 과정이 끝나고 공부해 보면 좋겠다. Snowflake는 어떻게 AWS와 연동할 수 있는지만 알면 될 것 같다. 구조까진 몰라도 되지만, 마이크로 파티셔닝은 알아두는 게 좋다고 한다. Snowflake를 사용해 봤다고 하면, 마이크로 파티셔닝이 뭔지 물어볼 수 있다고..

데이터 엔지니어 vs 백엔드 개발자

한국에서는 데이터 엔지니어와 백엔드 개발자가 분리되어 있는 느낌의 직군으로 알려져 있고, 직무 전환이 쉽게 이뤄지는 느낌이다. 그러나 해외에서는 두 개의 직군을 나누지 않고 모두 담당한다고 한다. 그래서 큰 이유가 없다면 백엔드와 데이터를 같이 공부하는 것이 좋을 것 같다. 그런데 백엔드가 너무너무 하기 싫다면 데이터만 공부해도 된다고 한다.