이전 글: https://kgw7401.tistory.com/107 이벤트 데이터 파이프라인 구축하기 (1) - 카프카 구축하기 이전 글: https://kgw7401.tistory.com/105 이벤트 데이터 파이프라인 구축하기 (0) - 개요 깃허브: https://github.com/kgw7401/event-data-pipeline GitHub - kgw7401/event-data-pipeline: 대용량 이벤트 데이터를 위한 파이프라 kgw7401.tistory.com 깃허브: https://github.com/kgw7401/event-data-pipeline GitHub - kgw7401/log-data-pipeline: 대용량 이벤트 데이터를 위한 파이프라인을 구축하는 프로젝트 대용량 이벤트 ..
이전 글: https://kgw7401.tistory.com/105 이벤트 데이터 파이프라인 구축하기 (0) - 개요 깃허브: https://github.com/kgw7401/event-data-pipeline GitHub - kgw7401/event-data-pipeline: 대용량 이벤트 데이터를 위한 파이프라인을 구축하는 프로젝트 대용량 이벤트 데이터를 위한 파이프라인을 구축하는 프 kgw7401.tistory.com 깃허브: https://github.com/kgw7401/event-data-pipeline GitHub - kgw7401/event-data-pipeline: 대용량 이벤트 데이터를 위한 파이프라인을 구축하는 프로젝트 대용량 이벤트 데이터를 위한 파이프라인을 구축하는 프로젝트. Co..
깃허브: https://github.com/kgw7401/event-data-pipeline GitHub - kgw7401/event-data-pipeline: 대용량 이벤트 데이터를 위한 파이프라인을 구축하는 프로젝트 대용량 이벤트 데이터를 위한 파이프라인을 구축하는 프로젝트. Contribute to kgw7401/event-data-pipeline development by creating an account on GitHub. github.com 대용량 이벤트 데이터를 위한 견고한 파이프라인 구축을 위한 프로젝트를 해보려고 한다. 예전부터 사용자 로그 데이터에 대해서 관심이 많기도 하였고, 무엇보다 그런 데이터들을 어떻게 신뢰성 있게 공급할 것이냐에 큰 관심을 가지고 있었다. 프로젝트를 하면서 신..
회사에서 두번째 글을 발행했습니다. 이번에는 파이썬의 머신러닝 프로젝트에서 많이 쓰이는 Streamlit을 이용해서 인하우스 메카닉들이 사용할 수 있는 정비소 지도를 만들어봤습니다. 또한 Elasticsearch도 함께 활용하였는데 Streamlit의 다양한 기능이나 ES와 어떻게 짬뽕(?)하였을지가 궁금하신 분들은 글 한 번 읽어주시면 감사하겠습니다! 요새 제 블로그에는 글을 많이 안쓰고 계속 회사 블로그 글만 링크를 달고 있는데, 조만간 데이터 엔지니어링 관련 유익한 내용으로 글 발행을 할 예정이니 조금만 기다려주세요😂 Streamlit으로 정비소 탐색 지도 만들기 Streamlit은 프로토타입용으로만 쓰는 거 아닌가요? medium.com
제 첫 회사 인턴 프로젝트 글입니다! 제 블로그에도 글을 복사해서 올려놓을까 하다가 원본으로 보는게 가독성 측면에서 훨씬 좋아보여서 따로 링크를 게시합니다. 프로젝트 주제 프로젝트 주제는 회사에서 운영하고 있는 네이버 검색광고 운영 자동화입니다. 혹시나 검색광고에 관심이 있으시다면 글을 한 번 읽어보시면 좋을 것 같습니다. 추가적으로 다른 오토피디아의 좋은 글들도 굉장히 많으니 읽어보시는 걸 추천드립니다! 네이버 검색광고 자동화하기 안녕하세요, 오토피디아 리서치팀에서 인턴쉽 프로그램을 거쳐 현재는 정규직으로 근무 중인 김건우라고 합니다. 저는 2022년 7월 4일부터 리서치팀에서 인턴쉽 프로그램에 참여하였고 2개월 간 medium.com
📄프로젝트 개요 정말 간만에 사이드 프로젝트로 돌아왔다. 그 동안 회사 일이 바쁘다는 핑계로 프로젝트를 조금 소홀히 했는데, 다시 또 좋은 프로젝트를 통해 실력을 기를 수 있는 기반을 만들어야지 하는 생각이 들어 다시 시작하게 되었다. 아직 못 끝낸 프로젝트들도 좀 있는데 그것도 정말 꼭 마무리 할 예정이다😂 그리고 새로 시작하는 마음으로 이제 프로젝트 포스팅 글을 쓰는 방식을 조금 바꿔볼까 한다. 기존에는 하나하나 정말 자세하게 기록을 했는데, 이렇게 하니 진행속도가 너무 느려서 이번에는 삽질을 조금 하였거나 해당 파트에서 핵심적인 부분이라고 생각되는 부분만 적어볼 예정이다. 이 방법도 확정은 아니고 일단 해보고 좋으면 이 후 프로젝트 포스팅에서도 해당 방법을 취할 예정이다. 그래서 아마 이번에는 짧은..
지난 포스팅 - 산타 백준 프로젝트 (1) - 데이터 정의와 스크래핑 저번 시간에는 어떤 데이터를 사용할 것인지 어떤 방식으로 스크래핑을 할 것인지에 대해 이야기해보았다. 이번 시간부터는 본격적으로 Airflow를 이용하여 분산 크롤링 작업을 해볼 것이다. Airflow 설치부터 시작해서 기본적인 설정과 DAG 작성법까지 종합적으로 정리할 것이다. 그러면 Airflow 설치와 환경 설정부터 시작해보자! 🔧Airflow 설치와 설정 아키텍처를 보면 알 수 있다시피 나는 마스터 노드를 따로 두고 부스트캠프 측에서 제공해주는 서버들을 워커 노드로 두고 있다. 따라서 먼저 GCP를 이용하여 마스터 노드를 구성했던 과정을 살펴보려고 한다. 그런데 이 부분도 사실 GCP에 Airlfow를 구성하는 과정이 잘 나와있..
지난 포스팅 - 산타 백준 프로젝트 (0) - 프로젝트 개요 📌데이터 정의 본격적으로 크롤링을 하기에 앞서 어떤 데이터가 필요한지를 먼저 정의하는 것이 중요하다. 물론 요새는 데이터 레이크라는 개념이 있어서 우선 모든 데이터를 스토리지에 저장하고 나중에 변환하는 방식을 사용하고는 있다고 한다. 하지만 우리 프로젝트는 데이터 종류가 그렇게 많지도 않고, 사용 데이터가 크게 바뀌지도 않기 때문에 미리 정의하는 것이 좋겠다고 생각했다. 그 전에 프로젝트에서 사용할 데이터 소스에 대해 한 번 설명하고 넘어가는 것이 좋을 거 같다😀 우리는 총 2개의 데이터 소스에서 데이터를 가져오기로 하였다. 백준(BOJ)과 Solved.ac API이다. 백준은 프로그래머라면 모두가 아는 사이트라 설명할 필요가 없을 거 같고, ..
📄코딩 문제 추천 서비스 산타백준 부스트캠프에서 마지막 최종 프로젝트를 진행하였다. 최종 프로젝트 주제는 "산타 백준"이다. 산타 백준이라는 이름에서 어느정도 짐작할 수 있겠지만, 산타 토익 + 백준의 합성어이다. 산타 토익처럼 백준의 문제를 추천해주겠다는 취지로 작명을 하였다. 주제에 대해 조금 더 자세히 설명하자면 산타 백준은 코딩 테스트를 준비하는 사람을 위해 실시간으로 백준 문제를 추천해주는 웹 서비스이다. 개발자 열풍이 불면서 코딩 테스트 통과에 대한 수요 또한 증가하였는데, 우리 서비스는 사용자의 수준에 맞춰서 백준 문제를 추천해준다. 원래는 서비스 전체 아키텍처 그림을 공개하고 시작하는데 아무래도 다른 분들과 같이한 팀 프로젝트이니만큼 해당 아키텍처에 대해서는 블로그에서 공개하지는 않고, 나..
지난 포스팅 - Fake Onlineshop 프로젝트 (0) - 프로젝트 개요 🛒데이터 생성 데이터 파이프라인을 구축하기 위해서 가장 중요한 것은 데이터이다. 데이터를 구하는 것이 항상 문제였었는데, 이번에는 데이터를 직접 만들어서 사용하려고 한다. 이번 주제는 가상 쇼핑몰이기 때문에 쇼핑몰 데이터에서 가장 핵심이 되는 유저와 주문 데이터를 만들 것이다. 그 중 먼저 유저 데이터를 생성하는 작업을 해보도록 하자! 🙎♂️유저 데이터 생성 유저 데이터 생성에는 Faker 라이브러리를 사용하였다. 이 라이브러리는 한국어 정보도 추출할 수 있고, 무엇보다 유저의 간단한 프로필을 뽑을 수 있어서 데이터를 정의하는데 크게 고민할 필요가 없다는 점이 편하다. Faker 안에 simple_profile()을 이용하면..
