회사에 들어가고 혼자서는 절대 해보지 못할 다양한 경험들을 해보았던 것 같습니다. 열심히 하기 위한 개인의 노력도 당연히 있었지만 아마 어디서도 만나지 못할 훌륭한 개발자 분들을 회사에서 만났기 때문에 더욱 더 다양한 일들을 수행할 수 있지 않았나 하는 생각이 듭니다.
이제 입사한지도 벌써 8개월이 되어 가고 있는데요. 초반에는 일에 치여 바쁘게 사느라 생각해보지 못한 것들이 요새는 자꾸만 생각나는 것 같습니다. 데이터 엔지니어를 꿈꾸고 이를 향해 달려온 지도 꽤나 많은 시간이 흘렀는데, 과연 나는 어떤 데이터 엔지니어가 되고 싶은지, 내 종착지는 어디인지에 대한 고민입니다.
생각해보면 지금까지는 훌륭한 데이터 엔지니어는 무엇이고, 그럼 그 훌륭한 엔지니어가 되기 위해서는 어떤 일들을 해야하는지에 대해 딱히 큰 고민을 해본 적이 없었던 것 같습니다. 그저 취업을 위해 데엔이라면 모두들 써본다는 기술 스택을 써보고 만족할 뿐이었죠. 지금도 개인적으로는 하기 어려운 여러 프로젝트들을 해보면서 신기술을 써봤다는 도취감에 빠져있기만 할 뿐인 것 같습니다.
이런 현타(?) 아닌 현타를 느끼고 이제는 내가 과연 어떤 데이터 엔지니어가 되기를 원하는 지 목표를 확실히 정하고 이에 맞는 공부와 노력을 행해야 겠다고 생각했습니다.
이번 글은 제 개인적인 회고와 각오들로 가득한 글이 될 거 같습니다. 원래는 개인적인 글로만 남길까 했지만 저와 비슷한 고민을 하고 계시는 분들도 있을 것이라고 생각하고 공유를 하기로 결심했습니다.
기존 글은 정말 의식의 흐름대로 썼었는데 나름 공유를 하는 글이니 조금 정리를 해보았고 목차는 아래와 같습니다.
- 데이터 엔지니어링이란?
- 내가 원하는 데이터 엔지니어의 모습
- 그러면 원하는 데이터 엔지니어가 될려면?
- 마무리
데이터 엔지니어링이란?
어떤 데이터 엔지니어가 되고 싶냐를 정의하기에 앞서 데이터 엔지니어링이 무엇인지를 정의하는 것이 먼저일 것 같습니다. 제가 하는 일에 대해서 저만의 정의를 해본다면 분명 제가 원하는 데이터 엔지니어의 모습이 나올 것이라고 생각했습니다. 아주 다양한 정의가 있겠지만 많은 자료에서 말하는 데이터 엔지니어링과 저의 아주 보잘 것 없는 경험을 첨가해서 정의를 하면 아래와 같습니다.
데이터 엔지니어링은 데이터가 필요한 사람들이 좋은 데이터를 쉽게 사용할 수 있도록 기술적으로 해결하는 일
어떤 단어들에는 밑줄이 그어져 있는데 이 부분들이 위의 문장에서 가장 핵심이 되는 포인트라 밑줄을 그어봤습니다. 이는 밑에서 다시 한 번 살펴보겠습니다.
데이터 엔지니어는 데이터 엔지니어링을 하는 사람이고, 데이터 엔지니어링은 데이터를 필요로 하는 사람들에게 데이터를 제공하여 결론적으로는 서비스를 이용하는 고객들이 더 좋은 서비스를 사용할 수 있도록 기여합니다.
내가 원하는 데이터 엔지니어의 모습
앞에서 데이터 엔지니어링이 무엇인지 저만의 정의를 해보았습니다. 저는 여기에 제가 되고 싶은 데이터 엔지니어의 모습이 모두 그려져 있다고 생각하는데요. 밑줄 그은 부분이 가장 핵심이 되는 부분이어서 따로 살펴보도록 하겠습니다.
- 나를 필요로 하는 주체(who): 데이터가 필요한 사람들
- 내가 제공해야 할 것(what): 좋은 데이터를 쉽게 사용
- 어떻게 제공할 것인가(how): 기술적으로 해결
우선 데이터가 필요한 사람들 데이터 엔지니어는 다른 직군들과는 다르게 두 명의 클라이언트가 있습니다. 하나는 여느 직군과 마찬가지로 서비스를 이용하는 고객들, 다른 하나는 그 고객들로부터 나온 데이터를 이용하고자 하는 내부 직원들입니다. 바로 위에서 말하는 데이터가 필요한 사람들입니다. 데이터 엔지니어는 이들과 지속적으로 소통해야 하고 그들이 원하는 바를 잘 캐치해서 데이터를 제공해야 합니다.
그리고 그들에게 좋은 데이터 또는 이를 쉽게 사용할 수 있는 환경을 제공해야 하는데요. 좋은 데이터가 무엇인지는 아마 이해관계자마다 다를 수 있겠지만 아마 공통점은 있을 것입니다. 좋은 데이터는 기본적으로 신뢰할만하고, 쉽게 접근 가능해야 합니다.
마지막으로 데이터 엔지니어는 기본적으로 엔지니어입니다. 그리고 엔지니어는 문제를 기술적으로 해결하는 사람들이죠. 데이터 엔지니어는 이 모든 과정에 가장 적합한 기술들을 취사선택하고 적용할 수 있는 능력이 있어야 합니다.
위의 3가지 사항을 잘 가져갈 수 있다면 아마 좋은 엔지니어가 되지 않을까 생각하는데요. 참 어렵고 추상적인 것 같습니다. 그래서 조금 더 구체적으로 제가 원하는 데이터 엔지니어가 되려면 어떻게 할 지를 생각해보았습니다.
그러면 원하는 데이터 엔지니어가 될려면?
3가지 중요 항목들을 나눠보았으니 이번에도 3가지로 나누어서 생각해보았습니다.
- 데이터가 필요한 사람들을 이해하도록 노력하자
- 데이터 문화를 만들자
- 좋은 데이터를 제공하기 위한 다양한 기술을 공부하자
데이터가 필요한 사람들을 이해하도록 노력하자
먼저 데이터가 필요한 사람들을 이해할 줄 알아야 한다고 생각합니다. 서비스를 이용하는 고객들에 대해 아무것도 모르고 좋은 서비스를 제공할 수 없듯이 내가 제공하는 데이터를 사용하는 사람들을 이해할 수 없다면 좋은 엔지니어가 될 수 없는 것 같습니다.
고객을 이해할 수 있는 가장 좋은 방법은 고객이 되어보는 것이라고 생각하는데요. 스타트업의 좋은 점이 바로 이게 아닐까 싶은데 저는 이를 지금의 회사에서 최대한 경험하고 기록할 생각입니다. 지금은 데이터 분석과 마케팅을 조금씩 하고 있는데 어떤 데이터가 필요하고 어떤 방식으로 제공하면 그들의 원하는 좋은 퀄리티의 데이터를 제공할 수 있을지를 고민하고 기록할 예정입니다.
데이터 문화를 만들자
두번째는 데이터 문화를 만들고 정착시키는 것입니다. 결국 데이터를 이용할 줄 아는 사람들이 많아져야 저도 먹고산다고(?) 생각하는데요. 데이터 드리븐한 문화를 정착시키는 것이 정말 중요한 과업 중 하나입니다. 이를 위한 가장 좋은 방법은 직접 구성원들에게 좋은 사례를 만들어주는 것이라고 생각합니다. 그래서 저는 데이터를 기반으로 한 비즈니스 성공 사례를 만들어서 전달할 것입니다. 아마 굉장히 어려운 일이 되겠지만 많은 공부와 적용을 통해 이를 꼭 이룰 예정입니다.
좋은 데이터를 제공하기 위한 다양한 기술을 공부하자
마지막은 아마 지금도 미래에도 가장 중요한 요소 중에 하나이지 않을까 싶은데요. 바로 기술 공부입니다. 데이터 엔지니어에게는 정말 많은 관련 지식들이 필요합니다. 대표적으로 하둡 에코시스템 같은 것들이 있죠. 위의 2가지 사항도 중요하지만 앞서 말씀드렸다시피 데이터 엔지니어의 근간은 엔지니어입니다. 엔지니어가 엔지니어링을 못하면 그건 엔지니어가 아니죠.
당연히 기술 스택 하나하나를 잘 하는 것도 중요하겠지만 요새 들어서 기본 CS 지식의 중요성을 다시 한 번 깨닫고 있습니다. 그래서 기술 스택에 대한 공부와 더불어서 베이스를 정리해나가려고 합니다.
예전에는 네트워크, 데이터베이스 관련 두꺼운 책들을 따로 사서 정독을 했었습니다. 하지만 돌아보고 나니 별로 남는게 없더군요.(아마 제 머리가 멍청해서…) 그래서 조금 생각을 바꿔서 부딪히면서 배워보기로 하였습니다.
지금 계획하고 있는건 크게 두 가지인데요. 첫번째는 “공유하기”입니다. 배워서 남 주라는 말도 있듯이 지식을 자신의 언어로 만들어 공유하는 행위는 남뿐만 아니라 나에게도 도움이 되는 행위입니다. 그래서 시간이 날 때마다 조금씩 나만의 언어로 정리한 지식을 공유하면서 성장해볼 계획입니다.
두번째는 “해보기”입니다. 앞서 말씀드렸듯이 사실 책만 봐서는 결국 휘발되기 마련입니다. 그래서 실제로 의미있는 프로젝트를 통해 그에 맞는 기술들을 사용하면서 체화하려고 합니다. 해보기는 꼭 개인 프로젝트에만 국한되어 있는 것은 아닙니다. 회사에서 성장에 도움이 되는 프로젝트를 하고 있다면 오히려 더 좋은 해보기가 될 수 있겠죠.
그리고 해보기에서 중요한 것은 이렇게 배운 지식들을 다시 “공유하기”에 사용하는 선순환 구조를 만들어야 합니다. 이를 위해서는 프로젝트 진행 중과 종료 후 정리가 굉장히 중요하겠죠?
마무리
지금까지 어떻게 하면 좋은 데이터 엔지니어가 될 수 있을지에 대한 저의 장황한 이야기였습니다. 저도 아직 얼마되지 않은 신입 데이터 엔지니어이고 배울 게 너무 많습니다. 다들 성장에 대한 욕구가 충만하시지만 어떻게 성장하면 좋을지에 대한 고민이 많으실 것 같은데요. 각자의 성장 방식이 있다면 댓글로 공유 부탁드리고 혹시나 제 넋두리(?)가 도움이 되셨다면 다른 분들께도 많이들 전달해주시면 감사하겠습니다.
오늘은 몰라도 내일은 알자! 그럼 다음에는 더 좋은 글로 찾아뵐게요!
'데이터 엔지니어링' 카테고리의 다른 글
| 드롭박스 엔지니어링 커리어 프레임 (데이터 엔지니어편) (0) | 2023.04.22 |
|---|
