가볍게 읽는 도커 안내서에 이어서 쿠버네티스 개요에 대해서도 간단하게 알아보자 쿠버네티스 개요쿠버네티스가 하는 일컨테이너를 관리컨테이너가 하나만 있다면 충분히 관리할 수 있겠지만 만약 100개가 있다면? 쿠버네티스의 역사리눅스와 같은 성공한 오픈 소스 프로젝트 중에 하나 쿠버네티스 배포 종류관리형 쿠버네티스: EKS,GKE와 같은 클라우드를 이용한 쿠버네티스로 관리나 운영이 필요없다.설치형 쿠버네티스: Rancher, Red Hat Openshift와 같은 프로그램을 이용해서 필요한 여러 패키지들을 통합해 만든 설치형 버전.구성형 쿠버네티스(네이티브 쿠버네티스): 요구사항에 맞게 자유로운 커스텀이 가능하다. kuberadm, kubespray, krib, kops… 쿠버네티스 기초파드(Pod)마스터 노드..
예전에 가볍게 읽는 도커 안내서라는 내용으로 짧게 강의를 한 적이 있었는데 정리한 내용을 묵히기 아쉬워서 공유하려고 한다. 도커의 등장 프로젝트를 할 때 잘 동작하던 라이브러리가 다른 라이브러리를 설치하니 안되거나, OS 버전이 맞지 않아 에러가 발생하는 경험을 해본 적이 있을 것이다. 이렇듯 하나의 서버에 여러개의 프로그램을 설치하는 것도 문제이지만 서로 사용하는 라이브러리의 버전이 다르거나 동일한 포트를 사용하는 경우는 설치가 훨씬 더 까다롭다. 특히 요즘은 MSA를 지향하면서 굉장히 많은 서버를 설치하고 관리해야 하는 일이 많아졌고 이러한 서버 관리에 대한 혁신적인 기술을 필요로 하였다. 도커가 뭔가요? 정의 컨테이너 기반의 오픈소스 가상화 플랫폼 가상화란 가상화는 물리적인 하드웨어(HW) 장치를 ..
안녕하세요 :) 제 블로그 포스팅을 읽어주시는 많은 분들에게 전해드릴 소식이 있어 포스팅을 작성합니다. 이번에 제가 인프런에 “Mixpanel로 데이터 들여다보기”라는 첫 강의를 런칭하였습니다. 현업에서 Mixpanel을 사용하면서 여러 데이터를 아주 간편하게 분석하며 굉장히 긍정적인 경험을 하였는데요. 하지만 국내에는 아직까지 믹스패널 사용법을 다룬 자료가 많지 않다보니 저 또한 직접 부딪히면서 배울 수 밖에 없었습니다. 그래서 제가 겪은 이러한 경험들을 정리해서 공유하면 어떨까 생각이 들었고 이렇게 강의까지 런칭을 하게 되었습니다😀 강의 내용은 믹스패널 사용법에 대해 다루고 있고, 이론 뿐만 아니라 실습도 함께 다루고 있어 훨씬 이해가 쉽도록 하였습니다. 학습 내용은 아래와 같습니다. 1. 믹스패널 ..
이전 글: 만 2년차 데이터 엔지니어의 첫회사, 첫퇴직 그리고 첫이직 (1) - 퇴직 회고 만 2년차 데이터 엔지니어의 첫회사, 첫퇴직 그리고 첫이직 (1) - 퇴사 회고 들어가며... 굉장히 오랜만에 블로그 글을 작성한다. 근 2달 동안 포스팅을 조금 소홀히 했는데 개인적으로는 여러 일들이 있어 블로그에 신경을 쓰지 못했다. 그리고 오늘은 기술적인 이야기가 kgw7401.tistory.com 들어가며 저번 시간 퇴직 회고에 이어서 이번 포스팅에서는 이직기를 풀어보려고 한다. 요즘에 채용시장, 그 중에서 개발자 채용시장이 얼음장처럼 차갑다보니 나 또한 이직 과정이 순탄치 않았다보니 글 제목은 나의 해방일지를 본따 나의 이직일지라고 지어보았다. 이 글에서는 그 과정에서 겪은 일들과 느낀 점들을 솔직담백하게..
2편 이직 회고 글이 포스팅되어 안내드립니다! https://kgw7401.tistory.com/116 만 2년차 데이터 엔지니어의 첫회사, 첫퇴직 그리고 첫이직 (2) - 나의 이직일지 이전 글: 만 2년차 데이터 엔지니어의 첫회사, 첫퇴직 그리고 첫이직 (1) - 퇴직 회고 만 2년차 데이터 엔지니어의 첫회사, 첫퇴직 그리고 첫이직 (1) - 퇴사 회고 들어가며... 굉장히 오랜만에 블로 kgw7401.tistory.com 들어가며... 굉장히 오랜만에 블로그 글을 작성한다. 근 2달 동안 포스팅을 조금 소홀히 했는데 개인적으로는 여러 일들이 있어 블로그에 신경을 쓰지 못했다. 그리고 오늘은 기술적인 이야기가 아닌 조금은 개인적인 이야기를 풀어보려고 한다. 현재 회사에서 근무한지 벌써 1년 8개월이 ..
해당 포스트는 kube-proxy의 동작원리에 대한 좋은 글이 있어 다른 분들께도 공유드리고자 번역한 컨텐츠입니다. 원 글은 포스트 하단에 링크를 첨부하였습니다. 소개 네트워킹은 쿠버네티스의 아주 중요한 파트입니다. 네트워크 컴포넌트가 어떻게 다르게 동작하는지 이해하는 것은 올바른 어플리케이션을 설계하는데 있어서 큰 도움이 됩니다. 쿠버네티스 네트워크 뒤에는 내부에서 작동하는 구성요소가 있습니다. 이는 서비스를 사용가능한 네트워킹 규칙으로 변환하는데 이를 kube-proxy라고 합니다. 이번 아티클에서는 kube-proxy가 어떻게 동작하는지 소개해드릴려고 합니다. 우리는 서비스가 생성될 때 만들어지는 플로우에 대해서 설명하면서 kube-proxy가 만드는 몇 가지 예시 규칙들에 대해서 살펴보려고 합니다..
kubeadm을 이용하여 쿠버네티스 클러스터를 구축하는 과정을 살펴보자 개요 아마 개발자라면 다들 나만의 서버를 갖는 것에 대한 로망이 있을 것이다. 나 또한 개발자이기에 항상 내 서버를 가지고 싶었다. 특히 나는 현업에서 쿠버네티스를 많이 다루다보니 그냥 서버가 아닌 쿠버네티스 클러스터를 가지고 싶었지만 알다시피 쿠버네티스가 돌아갈 정도의 서버 여러 대를 구하는 것은 쉽지 않은 일이다... 그렇기에 항상 포기하고 맥북에 kind나 minikube를 이용하여 로컬 쿠버네티스를 이용해왔었다😂 (성에 차지 않는다...) 그러다 이번 여름에 공모전을 진행하면서 처음으로 오라클 클라우드(OCI)를 이용해볼 기회가 생겼었다. 사용 당시에는 이런 클라우드도 있구나 라고만 생각하며 이용을 했었다. 그리고 공모전이 끝..
카프카 컨슈머 그룹 리밸런싱이 무엇인지 알아보자 하나의 토픽에 다른 컨슈머 그룹을 추가해야 하는 상황을 맞이 했는데, 혹시나 기존의 컨슈머나 토픽에 영향을 줄까 싶어 살펴보다가 카프카 리밸런싱이라는 개념을 발견하게 되었다. 이번 글에서는 카프카 리밸런싱이 무엇이고, 왜 일어나는 것인지 기존 시스템에 어떤 영향을 미치는 지 알아보자. 컨슈머 그룹이란?컨슈머 그룹은 특정한 하나의 목적을 가진 컨슈머를 논리적인 그룹으로 묶는 단위이다. 기본적으로 모든 컨슈머는 특정 컨슈머 그룹에 속해있다. 1개든 2개든 N개든 컨슈머는 무조건 특정 목적을 가진 컨슈머 그룹으로 묶여있다. 그러면 컨슈머 그룹은 왜 사용할까? 컨슈머 그룹 왜 사용하는가?컨슈머 그룹은 크게 두가지 이유로 사용한다. Fault Tolerance (장..
짧은 감상평 데이터 엔지니어가 중요해진다는 이야기는 많지만 정작 데이터 엔지니어에 대한 이야기를 담은 책이나 정보는 찾기가 어려운 것 같다. 나 또한 이 일을 하면서 동종 업계 사람들의 경험이나 생각들이 항상 궁금했다. 그러한 관점에서 [데이터 엔지니어를 위한 97가지 조언]은 나를 포함한 많은 데이터 엔지니어들이 가지고 있는 고민들을 쉽게 풀어쓴 아주 유익한 책이었다. 특히나 좋았던 점은 데이터 엔지니어도 결국은 개발자이자 직장인이기 때문에 기술적인 내용 뿐만 아니라 좋은 엔지니어가 되는 방법이나 일을 잘하기 위해 지녀야 할 소통방법, 마음가짐 등을 본인이 겪었던 경험을 바탕으로 따뜻하게 조언해주는 듯한 구성이었다. 책의 제목처럼 97가지의 아주 많은 사례들을 소개하는 책에 대한 나의 감상평을 주저리주..
이전 글: https://kgw7401.tistory.com/107 이벤트 데이터 파이프라인 구축하기 (1) - 카프카 구축하기 이전 글: https://kgw7401.tistory.com/105 이벤트 데이터 파이프라인 구축하기 (0) - 개요 깃허브: https://github.com/kgw7401/event-data-pipeline GitHub - kgw7401/event-data-pipeline: 대용량 이벤트 데이터를 위한 파이프라 kgw7401.tistory.com 깃허브: https://github.com/kgw7401/event-data-pipeline GitHub - kgw7401/log-data-pipeline: 대용량 이벤트 데이터를 위한 파이프라인을 구축하는 프로젝트 대용량 이벤트 ..
