Zookeeper / Kafka 정리

Zookeeper란

• 분산 처리 환경에서 사용되는 트리 구조 형태의 데이터 저장소

• 데이터 변경보단 읽기가 빈번한 곳에 사용

• 특정 노드에 변경 여부를 감시하는 Watcher 사용 가능

• Znode

  • 데이터 저장 단위

  • Persistent Node

    • 명시적으로 삭제하지 않는 한 삭제 및 변경되지 않는 노드

  • Ephemeral Node

    • 세션이 유효할 때까지 유효한 노드

    • 세션 종료 시 삭제 될 경우 Zookeeper가 감지 가능

  • Sequence Node

    • 노드 생성시 자동으로 seq num이 붙는 노드

• Zookeeper Server

  • Leader와 Follower로 나뉨

  • Leader는 쓰기 명령

  • 데이터 저장 과정

    • Server(Follower) -> Server(Leader) -> 나머지 Server(Follower)

    • 서버에 저장 시 동기식으로 클라이언트에게 응답

  • 클러스터 내 구성 서버 간 데이터 공유 및 장애 대응, 동기화 처리

 

Kafka란

• 로그 수집 시 버퍼 역할

• Kafka Cluster

  • 다수의 카프카 서버(broker)로 구성

• 분산 메세지 큐 정보 관리 위하여 zookeeper 필요

• 구성요소

  • Topic

    • 카프카 저장 메세지 분류 형태

    • 메세지의 위치(offset)를 가진 여러 개의 Partition

  • Producer

    • 메세지를 쓰는 객체 ex) collector/flume

  • Consumer Group

    • 메세지를 읽는 객체 그룹  ex) Storm

    • Topic의 파티션과 Consumer Group은 1:N

 

---