짧은 감상평
데이터 엔지니어가 중요해진다는 이야기는 많지만 정작 데이터 엔지니어에 대한 이야기를 담은 책이나 정보는 찾기가 어려운 것 같다. 나 또한 이 일을 하면서 동종 업계 사람들의 경험이나 생각들이 항상 궁금했다.
그러한 관점에서 [데이터 엔지니어를 위한 97가지 조언]은 나를 포함한 많은 데이터 엔지니어들이 가지고 있는 고민들을 쉽게 풀어쓴 아주 유익한 책이었다. 특히나 좋았던 점은 데이터 엔지니어도 결국은 개발자이자 직장인이기 때문에 기술적인 내용 뿐만 아니라 좋은 엔지니어가 되는 방법이나 일을 잘하기 위해 지녀야 할 소통방법, 마음가짐 등을 본인이 겪었던 경험을 바탕으로 따뜻하게 조언해주는 듯한 구성이었다.
책의 제목처럼 97가지의 아주 많은 사례들을 소개하는 책에 대한 나의 감상평을 주저리주저리 적는 것보다는 인상깊게 읽었던 목차들을 공유하는 편이 훨씬 이 책의 매력을 극대화할 것 같아서 짧게 몇가지 소개하려고 한다.
코드뿐만 아니라 커뮤니티를 개발하라
데이터 엔지니어의 가장 핵심적인 업무는 데이터 파이프라인 구축이다. 하지만 그 어떤 구성원보다도 데이터와 가깝게 맞닿아 있다보니 데이터 제품 뿐 아니라 데이터 문화를 개발하기 좋은 직군이다. 해당 섹션에서는 왜 데이터 엔지니어가 사내의 데이터 문화를 만들기 위해 노력해야 하는지, 어떻게 하면 좋은 데이터 커뮤니티를 만들 수 있을지에 대해 설명한다.
제품처럼 데이터 플랫폼을 구축하는 방법
이제는 비즈니스의 성공을 위해 데이터를 측정하고 이를 통해 지표를 개선해나가는 것이 필수가 되었다. 이를 위해서 많은 회사들이 데이터 플랫폼을 구축하는데 구축 과정에서 많은 중요한 정보를 빼먹고 플랫폼을 구축하려고 한다. 이 섹션에서는 이상적인 데이터 플랫폼을 구축하는데 도움을 주는 여러 사례를 공유한다. 정리를 해보면 아래와 같다.
- 회사의 목표와 데이터가 어떻게 연결되는지 파악하고 이를 맞춰라
- 함께 데이터 제품을 구축하고 공유하며 배울 데이터 애호가 커뮤니티를 만들어라
- 많은 빅테크 기업들 또한 아주 오랜 세월에 걸쳐서(심지어 아직까지도) 플랫폼을 만들고 개선했으니 장기적 성장과 지속 가능성을 염두하고 구축해라
- 데이터 신뢰성에 대한 기준 기대치를 설정해라
시조 작성 방식으로 소프트웨어 작성하기
한국의 시조가 나와서 신기하기도 하고 반갑기도 한 목차였다. 소프트웨어를 마치 시조를 짓는 것과 같이 하면 더 나은 결과를 낼 수 있다는 참신한 주제인만큼 굉장히 인상깊었는데, 주요 내용은 아래와 같다.
제약 조건을 이해하라
소프트웨어는 기본적으로 제한된 리소스를 가지고 작업해야 하는 경우가 많다. 시조가 제한된 형식에서 최대한의 아름다운 결과를 내는 것처럼 소프트웨어 또한 내가 가진 여러 제약조건을 먼저 생각하고 좋은 결과를 내는데 집중해야 한다.
초기에 내린 결정이 최종 제품을 결정하므로 강력한 동기를 가지고 시작하라
마치 내 얘기를 보는 것 같아서 특히 인상깊었던 부분이었다. 나중에 하면 된다는 생각으로 초반에 많은 기능을 구현하려고 욕심을 내는데 이는 결국 제대로 구현되지 못하고 TODO로 남게되는 경우가 많다. 따라서 시조처럼 초반 결정을 신중하고 의도적으로 내려서 이후 모든 작업의 강력한 토대 역할을 할 수 있도록 하자.
가능한 한 단순하게 유지하라
복잡하면 망가지기 쉽기 마련이다. 코드 베이스에서 군살을 제거하고 가능한 만큼 간결하고 단순한 상태를 유지하기 위해 노력하여야 한다.
두뇌의 창의적인 면을 활용하라
시조 작가처럼 창의적인 도전을 받아들이자. 이를 통해 우리는 고객과 비즈니스에 강력하게 영향을 줄 기회를 얻고 그 과정으로 즐거움을 얻을 수 있다.
인정받지 못할 때 해야 할 일
데이터 엔지니어는 어떻게 보면 가장 뒷단에서 일하기 때문에 데이터 분석가나 데이터 사이언티스트에 비해 상대적으로 주목과 인정을 덜 받는다. C레벨은 우리가 무슨 기술을 사용하고 어떻게 시스템을 확장하는지는 큰 관심이 없다. 그렇다면 우리가 하는 일이 인정받고 관심을 받게 하기 위해서는 어떤 행동을 해야할까?
데이터는 비즈니스 수익을 창출하거나 결정을 내릴 수 있도록 돕는 결과로 변환되어야 가치를 가질 수 있다. 아무리 노력해도 경영자들이 우리의 일에 관심을 갖게 하는 것은 불가능에 가깝다. 따라서 우리는 반대로 경영자들이 관심 있어 하는 것에 우리가 관심을 가져야 한다. 인정을 받고 존재감을 키우기 위해서 우리는 데이터를 통해 비즈니스 담당자가 이해하고 관심을 가지는 방식으로 쓰고 말하는 습관을 들여야 한다.
우리는 스스로 경적을 울리며 존재감을 키우도록 노력해야 한다.
