서론
이직을 하기위해 마음먹고 시작한 에프랩 멘토링 지난 2년간 자바 백앤드개발을 하면서 데이터분야에 관심이 많았고, 개발자를 시작하면서 컴공과로 전공을 변경하고 학교에서는 os,python,SQL을 공부하고 집에와서는 독학으로 kafka,spark,airflow,docker,kubernetis,ubuntu,wsl,linux를 공부하고 그리고 그걸 활용한 파이프라인을 몇개 만들어서 Metabase로 시각화까지 해봤다.ETL 파이프라인을 몇개 만들어보면서 실무 데이터엔지니어 관점이 너무 궁금한 나머지 에프랩 데이터엔지니어 코스 과정을 신청하게되었다.
에프랩은 금액대가 장난아니였지만 데이터엔지니어에 대한 공부가 재밌고 깊게 공부하고싶다는 열정이 있어 에프랩을 신청하였다.
멘토링의 시작
지금 현재 받고있는 멘토님은 대기업 토X금융권 ML엔지니어이고 팀장님이다.
경력을 보니까...괴물이 따로없었다.나는 이직할때 금융권쪽으로 관심이 많았기 때문에 그래서 멘토선택때 멘토님을 선택하게 되었다.
멘토님을 처음만났을때 공부해온것들 포트폴리오 만든것들을 보여드렸는데,나는 나름 열심히 공부하고 신청했다 생각했는데
왠걸..데이터엔지니어에 대한 나의 지식과 공부해온 루트 방법에 대해 엄청나게 털렸다. 그래서 태초마을로 돌아가 처음배우는 자세로 다시 배우게 되었다.
현재 멘토님이 계신곳은 하둡을 아직까지도 사용한다고 들었다.
첫 한달은 hadoop - mapReduce, yarn, HDFS, impala,tez,hive,Avro,Parquet,ORC
데이터레이크,데이터웨어하우스,데이터마트,데이터레이크하우스,GCP Snowflake StarRocks Cloudera Trino에 대해서 공부했다.
에프랩 멘토님은 공부를 가르쳐주지않는다 내가 해가야한다.
내가 얼만큼 깊이있게 공부하고 멘토님을 찾아뵙는거다. 그래야 멘토님과 커뮤니케이션 대화가 가능하다.
아마 다음달부터 Spark를 집중적으로 해보려한다.
Spark자체가 어렵기도하고 심도있게 공부해볼려고한다. 현재 스파크 자체가 현역이기도하고 꼼꼼하게 공부할생각이다.
에프랩 데이터엔지니어 공부할때 약간의 팁을 주자면 전공서적만큼 두꺼운 책을 여러권 읽어야하는데,
읽으면서도 이해안되는 부분을 이해할려고 노력해야한다.
예를들면 이책을 세분화하고 챕터별,이해안되는 문장,단어마다 쪼개면서 하나하나 다 찾아보고 동작원리를 펜으로 그려가면서(?)이해시켰다.
그리고 그걸 PPT로 만들어서 내껄로 만들려는 노력을 했던거같다. 이렇게 내껄로 소화하고 멘토님을 괴롭히면서 질문을 정말 무긍무진하게 만들어갔다(돈뽑아 먹어야지?!)
1달차 후기
내위치를 너무 잘잡아주셨다. 현재 공부 방향성,앞으로 배워야될것들 준비해야 될것들을 하나하나 짚어주셨다.
멘토님이 내가 너무 열정가득히 해와서 멘토님도 나를 잘 가르쳐주시고, 멘토님또한 공부해온것들에 대해서 만족을 해주셨다.
앞으로 수료까지 완주를 할생각이고,
멘토링 코스에 점수를 매기자면 5점만점중에 4점이다. (멘토님이 조금 바쁘심..)
멘토링을 하고싶은 분들에게 하고싶은말
추천하고싶은 분들
1. 본인스스로의 의지와 적극성이 있는사람(데엔은 잡부라 진짜 말그대로 여러가지를 알아야하고, 적성이 매우 중요하다. 오기로 절~때 할수 없다.)
2. 데이터 엔지니어 공부를 어느정도 해보고 나서 하시는분들(나는 공부한 이후에 들어서 그런지 재밌던데?)
3. 주도적으로 커뮤니케이션 그리고 현재 자기객관화,위치가 확실한사람
추천하고 싶지 않은분들
1. 쉽게 생각하고 덤비지않기(백앤드랑 데엔이랑 공부방법 자체가 다르다. 이과정에서 본인 적성과 안맞을수도있다. 본인이 깊게 공부해보고 판단하길바란다.)
2. 학원처럼 생각하고 신청하신분("본인이 요리한거에 멘토님이 소스를 입혀주는 정도라고 생각하는게 좋다.")
3. 꾸준히 못하는사람
데이터엔지니어 코스 단점
데이터엔지니어 코스의 단점은 확연히 들어난다. 코스에대한 단점보다 멘토링을 받으며 공부할때 실무적으로 데이터를 다뤄보고 그결과를 내가 볼수없는 아쉬움이다. 몇테라바이트되는 데이터들이 어떻게 분산되고 이과정을 거칠때 어떤식으로 동작할까! 이런 관점 여러가지 아키텍처, 분산처리 시스템, 플로우등등 데엔공부를 하다보면, 이런 궁금증들 때문에 미쳐버린다는 단점이다.
다음은 에프랩 2개월차 후기로 찾아오겠다.