이열매의 메모장

Zookeeper란 분산 처리 환경에서 사용되는 트리 구조 형태의 데이터 저장소 데이터 변경보단 읽기가 빈번한 곳에 사용 특정 노드에 변경 여부를 감시하는 Watcher 사용 가능 Znode 데이터 저장 단위 Persistent Node 명시적으로 삭제하지 않는 한 삭제 및 변경되지 않는 노드 Ephemeral Node 세션이 유효할 때까지 유효한 노드 세션 종료 시 삭제 될 경우 Zookeeper가 감지 가능 Sequence Node 노드 생성시 자동으로 seq num이 붙는 노드 Zookeeper Server Leader와 Follower로 나뉨 Leader는 쓰기 명령 데이터 저장 과정 Server(Follower) -> Server(Leader) -> 나머지 Server(Follower) 서버에 ..

Storm 이란 실시간 데이터 분석 및 이벤트 배치 처리 Nimbus Job Tracker 역할 Supervisor 노드에 작업 할당 장애 조치 Supervisor Task Tracker 역할 할당된 토폴로지를 worker process 에 구동 Topology 처리 흐름 정의 그래프 각 객체마다 하나의 처리 로직(토폴로지) 포함 구성 요소 스파우트 외부 소스로부터 튜플을 가져와 스트림 생성 생성된 스트림을 볼트로 전송 볼트 토폴리지의 처리 작업 담당 데이터 전송 및 연산 처리, 데이터 쓰기

filebeat 여러 로컬 로그/파일을 수집 및 전달하는 경량 producer agent 작동 방식 지정된 로그 경로(input)를 모니터링 이벤트(로그 데이터 생성) 발생 시 데이터 수확(harvester) Harvester는 수집한 데이터를 libbeat으로 전송 해당 libbeat 는 이벤트 집계 후 집계된 데이터를 filebeat 설정에 구성된 출력에 맞게 전송

Elasticsearch 개념 분산형 오픈소스 검색/분석 엔진 동작 원리 기능 데이터 수집 / 집계 구문 분석, 정규화 데이터 검색 역색인(reverted index)을 사용하여 빠른 검색 속도 키워드가 어떤 docs에 있는지 저장 특징 확장성 샤드를 이용한 수평적 규모 확장 고가용성 replica가 데이터의 안정성을 보장 Schema free 스키마 대신 json 문서 구조로 된 데이터 사용 RESTful HTTP의 RESTful API를 통해 데이터 CRUD 작업 Multi-tenancy 서로 다른 인덱스에서 필드명이 같을 경우 한 번에 조회 가능 불변성 수정이 불가하여 Update시, 데이터를 삭제했다가 다시 생성 다중 스레드 환경에서 동시성 문제 회피 (수정이 불가하므로 lock 필요 x) 높은 ..

Ansible 환경 배포 자동화 툴 Inventory 'where' to Ansible execute 배포할 서버에 대한 목록 Playbook 'How' to Ansible execute 인벤토리 파일에서 정의된 서버들의 행동(module 호출) 정의 role과 task 매핑 role Pre-defined way for organizing playbooks 구조 defaults 해당 서비스에서 사용하는 공통 변수(경로, 포트 등) 기본값을 설정 tasks 'what' to Ansible execute 앤서블 명령어 태그에 따라 실행될 파일 존재 명령이 실행되기까지 필요한 단계별 설정 (name 참조) templates 서비스의 task에서 특정 경우의 변수에 대해 설정 resources 인증서 morpl..

용어 정리 LDAP Lightweight Directory Access protocol 인터넷 기반 분산 디렉토리 서비스 프로토콜 표준 디렉토리 구조 X.500 을 사용하는 DAP을 단순/경량화한 프로토콜 구조 트리 구조의 형태로 데이터 처리 이름을 기준으로 대상 조회 및 편집 각각의 엔트리(노드)로부터 위로 올라가 고유값(DN)을 가짐 ACL Access Control List 일반적으로 파일과 디렉토리에 대한 소유자와 권한 설정에 대한 목록 Network ACL의 기능 라우터와 네트워크 자원, 방화벽에 대한 접근 설정 통신 과정에서의 전송 허용 및 거부 조건 목록 거부 조건 조합 사항 소스 IP 주소 목적지 IP 주소 소스 포트 번호 목적지 포트 번호 NAT Network Address Transla..

파일 시스템 구조 파일 시스템은 디스크 내 파일을 관리하는 구조이다. 리눅스는 트리(계층) 구조로 파일을 관리한다. 디렉토리 구조는 다음과 같다. bin 모든 사용자가 사용 가능한 기본적인 명령어 저장 ex) mv, cp, r sbin 시스템 관리자용 명령어 저장 ex) ifconfig, ethtool, halt usr 일반 사용자들이 주로 사용하는 디렉토리 하위 디렉토리 bin lib include C 프로그램에 필요한 헤더 파일 저장 src 프로그램 소스(커널 소스) 저장 local 어플리케이션 컴파일 설치 시 주로 사용 root 시스템 최고 관리자인 root 사용자의 개인 홈 디렉토리 home 사용자의 홈 디렉토리 lib 커널 모듈 파일과 프로그램 라이브러리 파일 존재 etc 설정에 관련된 대부분의..

도커 개요 도커는 어플리케이션 개발, 전송, 실행을 위한 플랫폼입니다. 도커를 이용하면 어플리케이션을 인프라와 분리하여 빠르게 소프트웨어를 배포할 수 있습니다. 또한, 어플리케이션 관리와 동일한 방식으로 인프라 관리 또한 가능합니다. 도커를 활용하면 개발과 제품 배포 간 지연 시간을 단축할 수 있습니다. 도커 플랫폼이란 도커는 독립적인 환경에서 어플리케이션을 패키지하고 실행하는 컨테이너를 제공합니다. 이러한 독립성과 보안성 덕분에 사용자는 한 호스트 내에서 다수의 컨테이너를 동시에 실행할 수 있습니다. 컨테이너는 VM 사용 방식과 달리 호스트 머신의 커널을 직접적으로 실행하여 추가적인 하이퍼바이저를 적재할 필요가 없기 때문에 가볍습니다. 이는 사용자가 가상 머신을 사용하는 것보다 같은 하드웨어에서 더 많..