이벤트 데이터 파이프라인 구축하기 (1) - 카프카 구축하기

이전 글: https://kgw7401.tistory.com/105

이벤트 데이터 파이프라인 구축하기 (0) - 개요

깃허브: https://github.com/kgw7401/event-data-pipeline

GitHub - kgw7401/event-data-pipeline: 대용량 이벤트 데이터를 위한 파이프라인을 구축하는 프로젝트

 

카프카 어떻게 구축할까

가장 먼저 이번 프로젝트의 핵심이라고 할 수 있는 카프카부터 구축을 시작해야 했다. 카프카 구축에는 크게 두 가지 방법이 있다고 생각했는데,

1. 서버에 직접 설치
2. 컨테이너로 설치

처음에는 쿠버네티스를 이용해서 설치를 해보려고 했는데, 아무 생각없이 해당 방법을 선택하고 싶지는 않아서 많이 서치를 해보았고 정말 쿠버네티스 위에서 카프카를 설치하는 것이 좋을 지 고민했다. 고민하는 과정에서 이런 글도 작성했다🤣

 

그리고 고민 끝에 도커를 이용하기로 결정하였다! 가장 큰 이유는 도커로 관리하는 것이 오히려 더 간편할 수도(?) 있다고 생각했다. 브로커라던가 커넥터 라던가 모든 카프카 컴포넌트를 일일이 하나씩 설치하면 설치하는 거야 조금 귀찮긴 해도 하면 되는데 나중에 관리가 정말 힘들 것 같다는 생각이 들었다. 그래서 일단은 안정성을 조금 희생하더라도 운영 관리 비용을 줄이는 것에 집중하기로 했다.

 

물론 지금은 로컬에서 카프카를 운영하려고 하기 때문에 컴퓨터를 종료하면 다시 또 도커를 이용해서 카프카를 켜야하는 것이 조금 귀찮기는 하지만 일단 만약 이 부분이 너무 불편하면 이 후에는 서버에 직접 카프카를 설치하는 방향으로 바꾸지 않을까 싶다.

Confluent Platform 구축

도커로 카프카를 구축하기로 하였다면 이 후는 아주 간단하다. 서버에 설치하는 것과 같이 카프카에 필요한 컴포넌트들을 모두 설치해주면 된다. 아주 감사하게도 confluent에서 해당 부분에 대해 올인원 docker-compose.yaml을 제공하고 있어 나는 이를 사용했다.

 

이 후 간단하게 docker-compose up만 해주고 조금 기다리면 CP의 배포가 완료된다. 배포를 확인하기 위해서 localhost:9021로 접속하면 control center의 아주 예쁜 UI가 맞이해준다.

 

control center

 

이제 카프카를 모두 구축하였으니 본격적으로 파이프라인을 구축해보자!!

 

참고

https://engineering.linecorp.com/ko/blog/advanced-data-pipeline-with-confluent-platform-on-kubernetes

 

쿠버네티스 환경에서 Confluent Platform을 사용해 한 단계 진보한 데이터 파이프라인 구축하기

 

https://github.com/confluentinc/cp-all-in-one

GitHub - confluentinc/cp-all-in-one: docker-compose.yml files for cp-all-in-one , cp-all-in-one-community, cp-all-in-one-cloud,