이벤트 데이터 파이프라인 구축하기 (0) - 개요

깃허브: https://github.com/kgw7401/event-data-pipeline

GitHub - kgw7401/event-data-pipeline: 대용량 이벤트 데이터를 위한 파이프라인을 구축하는 프로젝트

 

대용량 이벤트 데이터를 위한 견고한 파이프라인 구축을 위한 프로젝트를 해보려고 한다. 예전부터 사용자 로그 데이터에 대해서 관심이 많기도 하였고, 무엇보다 그런 데이터들을 어떻게 신뢰성 있게 공급할 것이냐에 큰 관심을 가지고 있었다. 프로젝트를 하면서 신경써야할 여러 중요한 요소들이 있는데 이번에 나는 아래의 3가지를 가장 중요하게 생각하며 진행할 예정이다.

• 대용량 처리
• 데이터 신뢰성
• 새로운 기술 스택

첫번째, 두번째는 이번 프로젝트의 핵심이자 중요한 부분이다. 프로젝트를 진행하면서 지속적으로 신경을 쓰면서 견고한 데이터 파이프라인을 만들어 보려고 한다.

 

세번째는 개인적인 기술적 욕심인데, 나름 핫하면서 내가 제대로 못 써본 기술들을 이번 프로젝트에 대량으로 써볼 예정이다. 그러다보니 뭔가 아키텍처가 웅장(?)해졌는데, 얼마나 걸릴지는 모르겠지만 최대한 써볼 수 있는 만큼 써보고 지식의 영역을 더 확장해나가려고 한다. (여기서 더 확장될수도...)

 

미안하다 기술스택 보여줄려고 어그로 끌었다...

 

자세한 아키텍처는 깃허브 README에 그려놓았으니 궁금하신 분들은 들어가서 구경해보시면 좋을 것 같습니다! 그럼 다음 글로 만나요🚀