오몰내알 데엔

데이터 엔지니어링

드롭박스 엔지니어링 커리어 프레임 (데이터 엔지니어편)

최근에 커피챗을 하면서 굉장히 많은 정보를 얻을 수 있었는데, 그 중 하나인 드롭박스에서 정리한 엔지니어링 커리어 프레임워크라는 자료를 소개해보려 합니다. 아시는 분들은 많이들 보셨을 것 같은데요. 해당 자료는 엔지니어가 경력을 성장시키기 위해 자신이 현재 어떤 단계에 있고, 더 성장하기 위해서는 어떤 스킬들을 익혀야 하는지를 아주 잘 정리한 자료입니다. 자세한 내용은 아래와 같습니다. - 엔지니어의 경력을 성장시키기 위한 방법을 정리한 프레임 워크 - 승진 체크리스트가 아닌, 각 단계에서 어떤 모습일지 파악하는데 도움 되도록 설계 ㅤ→ 레벨 기대치 : 업무 범위, 협업 범위, 임팩트 레버 ㅤ→ 핵심 행동과 기술 책임 * 임팩트 : 엔지니어의 성공을 비즈니스 임팩트로 측정. "고객에게 더 나은 서비스를 ..

개인적인 이야기/후기 & 경험

노션 위클리 일정관리 템플릿 v2

이전에 일정관리를 위해 노션 템플릿을 제작하였습니다. 사용해보니 나름 사용성이 나쁘지 않아서 다른 분들도 사용하였으면 좋겠다는 생각에 템플릿과 사용법을 공유하였었는데요. 놀랍게도 제 포스팅 중 최상위권의 높은 조회수를 기록하고 있습니다. 이에 열화와 같은 성원(?)에 힘입어 새로운 버전의 일정관리 템플릿도 공유드리면 좋을 것 같아 버전2로 돌아오게 되었습니다. (이전 템플릿을 보고 싶으신 분들은 이 링크로 가주세요😀) 저는 v1 템플릿을 부스트캠프를 수강하고 있을 때 사용했었는데요. 당시에는 꽤나 나쁘지 않게 사용했지만 직장에 다니면서 제가 그 주에 했던 일들을 보면서 일정을 세워야 하는 니즈가 생겼고, 그에 맞게 템플릿을 다시 커스텀하여 사용하기로 했습니다.저번처럼 사용영상까지는 제작하지 않겠지만 간단..

데이터 엔지니어링

그래서 어떤 데이터 엔지니어가 되고 싶은데?

회사에 들어가고 혼자서는 절대 해보지 못할 다양한 경험들을 해보았던 것 같습니다. 열심히 하기 위한 개인의 노력도 당연히 있었지만 아마 어디서도 만나지 못할 훌륭한 개발자 분들을 회사에서 만났기 때문에 더욱 더 다양한 일들을 수행할 수 있지 않았나 하는 생각이 듭니다. 이제 입사한지도 벌써 8개월이 되어 가고 있는데요. 초반에는 일에 치여 바쁘게 사느라 생각해보지 못한 것들이 요새는 자꾸만 생각나는 것 같습니다. 데이터 엔지니어를 꿈꾸고 이를 향해 달려온 지도 꽤나 많은 시간이 흘렀는데, 과연 나는 어떤 데이터 엔지니어가 되고 싶은지, 내 종착지는 어디인지에 대한 고민입니다. 생각해보면 지금까지는 훌륭한 데이터 엔지니어는 무엇이고, 그럼 그 훌륭한 엔지니어가 되기 위해서는 어떤 일들을 해야하는지에 대해 ..

개인적인 이야기

블로그를 개편했습니다!

2023년 새로운 목표가 생겨서 이에 맞게 블로그를 개편했습니다. 크게 아래의 사항들이 개편되었습니다. 블로그 이름: 모닥불데엔 -> 오몰내알 블로그 테마: hELLO 적용 블로그 문체: 평어체 -> 경어체 일단 블로그 이름을 바꾸게 된 이유는 부끄럽지만 데이터 엔지니어링 관련해서 유튜브 영상을 몇 개 올려볼 생각이기 때문입니다. 유튜브 채널 이름을 평소 가치관(?)처럼 오몰내알(오늘은 몰라도 내일은 알자)로 짓게 되었고, 이에 맞추어 블로그 이름도 변경을 하게 되었습니다. 그리고 평소에 블로그 테마가 별로 마음에 안들었는데 이 또한 개편하는 김에 한번에 바꾸게 되었습니다. 많은 테마를 검토하였고, 가장 리소스가 덜 들면서 깔끔하다고 생각한 전상우 개발자님의 hELLO 테마를 적용하였습니다. 아직 커스텀..

프로젝트/Streamlit으로 정비소 탐색 지도 만들기(회사)

Streamlit으로 정비소 탐색 지도 만들기

회사에서 두번째 글을 발행했습니다. 이번에는 파이썬의 머신러닝 프로젝트에서 많이 쓰이는 Streamlit을 이용해서 인하우스 메카닉들이 사용할 수 있는 정비소 지도를 만들어봤습니다. 또한 Elasticsearch도 함께 활용하였는데 Streamlit의 다양한 기능이나 ES와 어떻게 짬뽕(?)하였을지가 궁금하신 분들은 글 한 번 읽어주시면 감사하겠습니다! 요새 제 블로그에는 글을 많이 안쓰고 계속 회사 블로그 글만 링크를 달고 있는데, 조만간 데이터 엔지니어링 관련 유익한 내용으로 글 발행을 할 예정이니 조금만 기다려주세요😂 Streamlit으로 정비소 탐색 지도 만들기 Streamlit은 프로토타입용으로만 쓰는 거 아닌가요? medium.com

프로젝트/검색광고 자동화(회사)

네이버 검색광고 자동화하기

제 첫 회사 인턴 프로젝트 글입니다! 제 블로그에도 글을 복사해서 올려놓을까 하다가 원본으로 보는게 가독성 측면에서 훨씬 좋아보여서 따로 링크를 게시합니다. 프로젝트 주제 프로젝트 주제는 회사에서 운영하고 있는 네이버 검색광고 운영 자동화입니다. 혹시나 검색광고에 관심이 있으시다면 글을 한 번 읽어보시면 좋을 것 같습니다. 추가적으로 다른 오토피디아의 좋은 글들도 굉장히 많으니 읽어보시는 걸 추천드립니다! 네이버 검색광고 자동화하기 안녕하세요, 오토피디아 리서치팀에서 인턴쉽 프로그램을 거쳐 현재는 정규직으로 근무 중인 김건우라고 합니다. 저는 2022년 7월 4일부터 리서치팀에서 인턴쉽 프로그램에 참여하였고 2개월 간 medium.com

정보 검색

검색 모델 평가 지표 비교하기 MRR | MAP | NDCG

Mean Reciprocal Rank(MRR) 검색 모델 평가 지표 중 가장 간단한 모델이라고 할 수 있다. Reciprocal은 역수라는 뜻으로 해당 알고리즘의 핵심이 되는 방법이다. 사용자마다 클릭한 컨텐츠 중 가장 상위 랭크에 위치한 컨텐츠의 순위를 구하고 이를 역수로 바꾸어 평균을 낸다. 아래 예시처럼 User 1은 제공된 컨텐츠 중 3번째를 클릭하였으므로 1/3, User 2는 2, 3번째 컨텐츠를 클릭하였는데 그 중 더 상위 랭크인 2번째 컨텐츠를 선택하여 1/2로 계산한다. 이를 모두 합산하여 유저수로 나누어 평균을 내준다. 이렇게 하면 유저가 낮은 랭크의 컨텐츠를 선택할수록 MRR은 낮아지므로 좋은 검색을 제공하지 않고 있다고 할 수 있을 것이다. MRR은 보다시피 굉장히 간단한 계산을 통..

프로젝트/중고책나라 프로젝트

중고책나라 프로젝트 (0) - 프로젝트 개요

📄프로젝트 개요 정말 간만에 사이드 프로젝트로 돌아왔다. 그 동안 회사 일이 바쁘다는 핑계로 프로젝트를 조금 소홀히 했는데, 다시 또 좋은 프로젝트를 통해 실력을 기를 수 있는 기반을 만들어야지 하는 생각이 들어 다시 시작하게 되었다. 아직 못 끝낸 프로젝트들도 좀 있는데 그것도 정말 꼭 마무리 할 예정이다😂 그리고 새로 시작하는 마음으로 이제 프로젝트 포스팅 글을 쓰는 방식을 조금 바꿔볼까 한다. 기존에는 하나하나 정말 자세하게 기록을 했는데, 이렇게 하니 진행속도가 너무 느려서 이번에는 삽질을 조금 하였거나 해당 파트에서 핵심적인 부분이라고 생각되는 부분만 적어볼 예정이다. 이 방법도 확정은 아니고 일단 해보고 좋으면 이 후 프로젝트 포스팅에서도 해당 방법을 취할 예정이다. 그래서 아마 이번에는 짧은..

데이터 엔지니어링/Airflow

Airflow ExternalTaskSensor 사용법 (execution_date_fn 때문에 삽질한 후기...)

ExternalTaskSensor 왜 사용할까? 세탁이 끝나고 나면 무엇을 해야할까? 아마도 빨래를 이쁘게 개어서 수납을 해야할 것이다(말리는 게 먼저겠지만 그건 건조기가 해줬다고 치고...) 당연하게도 세탁이 끝나지 않았다면 빨래를 개지도 못할 것이다. 따라서 빨래를 개는 작업은 세탁이 끝난 이후에 진행할 수 밖에 없다. 그래서 보통 세탁기를 돌려놓고 다른 일을 하다가 세탁기가 끝났다는 벨소리를 울리면 그 때 빨래를 갤 것이다(머리속에서 울리는 익숙한 LG 세탁기의 벨소리...) 왜 빨래 이야기를 이렇게 장황하게 할까? 오늘 말할 ExternalTaskSensor가 딱 이러한 프로세스에 사용되기 때문이다. 이름에서도 대충 알 수 있듯이 ExternalTaskSensor는 외부 태스크가 끝났는지를 감지하..

개인적인 이야기/후기 & 경험

데이터 엔지니어... 어떤 회사에 가지? feat. 오토피디아

회사 생활은 처음이지? 그렇게 적지 않은 나이에도 불구하고 나는 지금까지 한 번도 회사 생활을 해본 적이 없었다. 왜 안했는지를 곰곰히 생각해보면 막연한 두려움 때문이었던 것 같다. 과연 내가 현업에서 일을 할 수 있을까하는 걱정이 늘 앞섰고, 이 때문에 실전을 경험할 기회를 잡지 못하였다. 올해 초 휴학을 하고 부스트캠프를 수료하였다. 5개월 동안의 긴 과정을 마치고 아직 한 학기가 남은 상태에서 어떤 활동을 하면 좋을까 고민을 했다. 사실 부캠에서 내가 가고자 하는 데이터 엔지니어링을 제대로 배우지 못한 상황이었기 때문에 따로 공부를 더 해볼까 생각했다. 하지만 당시 부캠에서 따로 채용 연계를 해주기도 하였고, 나 또한 현업을 경험해보아야 겠다는 생각이 들었다. 물론 나 따위가...? 하는 생각은 계..

오몰내알
'분류 전체보기' 카테고리의 글 목록 (3 Page)