주식, 정보처리기술사, IT, 인공지능 자료창고 주식, 정보처리기술사, IT, 인공지능 자료창고

지난 글에 이어서 이번에는 Consumer Group이라는 주제를 가지고 설명하려고 합니다. 이 내용 역시 제가 처음 카프카를 접했을때, 정말 이해가 안되고 어려웠던 부분이었습니다. 컨슈머 그룹에 대해 국내 자료들을 검색했었는데, 안타깝게도 제가 이해하는데 도움이 될만한 글을 찾지 못하였습니다. 그래서, 제가 카프카를 처음 접하시는 분들이 컨슈머 그룹에 대한 개념을 잘 이해하실 수 있도록 간단한 예제와 그림을 추가하여 설명을 진행하도록 하겠습니다. 이 글을 처음 보시는 분은 이전 글을 한번 보시고 오시면 좋을 것 같습니다. Kafka 운영자가 말하는 처음 접하는 Kafka 컨슈머 그룹 카프카에서는 컨슈머 그룹이라는 용어가 사용됩니다. 컨슈머 그룹에 대해 보다 쉽게 이해하기 위해 반드시 필요한 용어 몇가지..

Docker : Dockerfile 실습 편 Docker 2019. 3. 22. 14:43 지난 Docker : Dockerfile 편에서는 도커파일의 개념 설명과 도커파일의 생성, 그리고 도커파일을 이용하여 이미지를 만들고 컨테이너를 실행하여 아파치에 접근해보는 간단한 실습을 진행 하였다. 이번 시간에는 도커를 이용하여 Jenkins Slave Node를 생성하여 빌드해보는 실습을 진행 해보고 이 과정을 도커파일로 만들어보도록 하겠다. Jenkins 분산빌드환경 서버의 자원이 한정된가난한 상태에서 다수의 사람들이 Jenkins(이하 젠킨스)를 통해 빌드를 하다보면 점점 빌드가 잦아지고 결국 빌드를 대기하는 일종의 빌드 병목현상이 발생한다. 게다가 몸집이 큰 프로젝트 파일을 빌드하기 위해서 상당한 시간이..

Dockerfile 개요 지금까지 도커 이미지를 내려받아 컨테이너를 생성하고 아파치를 설치 후 도커 컨테이너에 접근하는 실습 과정과 아파치가 설치 된 상태까지의 컨테이너를 이미지화하는 내용을 학습하였다. // 우분투 이미지 다운로드 # docker pull ubuntu:14.04 // 도커 컨테이너 생성 # docker create -i -t --name -p 80:80 ubuntutest docker.io/ubuntu:14:04 b0c51e1ead4b1e4234537ec00394837144ce83f64c2d3c2e1eb7cbabcec8af41 // 컨테이너 활성화 # docker start ubuntutest // 컨테이너 접근 # docker attach ubuntutest // 패키지 업데이트 # ..

Docker 이미지 개요 이번 편에서는 도커 이미지의 생성과 삭제, 이미지의 구조를 알아보려고 한다. 파일에 대한 분산버전관리를 웹 호스팅으로 지원하는 GitHub에서는 계정만 있으면 본인의 프로젝트를 push 할 수 있고 공개된 프로젝트라면 누구나 업로드 된 프로젝트를 pull 할 수 있다. 이와 마찬가지로 도커에서는 Docker Hub라는 중앙 이미지 저장소를 제공하고 있고 도커 계정이 있다면 누구나 업로드, 다운로드가 가능하다는 점에서 GitHub와 비슷하다고 볼 수 있다. 지난 컨테이너 편에서 컨테이너 생성 전에 docker pull 명령어로 묻지도 따지지도 않고 ubuntu 이미지를 내려 받았었다. docker pull 명령을 입력하면 기본적으로 도커 허브(Docker Hub)라는 중앙 이미지 ..

Docker 컨테이너 개요 지난 Docker : 설치 편에 이어 이번 내용은 도커 핵심기술인 컨테이너에 대한 설명을 하고자 한다. 컨테이너라고 하면 무엇이 떠오르는가? 사무실의 전경 일반적으로 컨테이너라고 하면 대형 선박에 싣는 규격화 선적물을 떠올릴 수 있다. 도커에서 컨테이너는 독립적이고 규격화된 프로세스를 의미한다. Docker 이미지 도커 컨테이너와 도커 이미지는 뗄래야 뗄 수 없는 사이 이므로 컨테이너를 설명하기 전 도커 이미지에 대해 간략히 알아보도록 하자 먼저 도커 이미지는 도커 컨테이너의 기반이 되는 읽기전용 데이터라고 생각하면 이해가 쉽다. 마치 가상 드라이브에 마운트 시키는 iso파일과 비슷한 개념이라고 보면 된다. (맨 끝의 어플리케이션들은 각각의 Linux OS를 기반으로 생성한 각..

Docker 설치 준비 도커는 기본적으로 Linux OS에서 구동되며 타 OS(Windows, Mac 등)에서는 도커 실행에 필요한 Docker Tool Box 또는 Docker for OS(Windows, Mac) 을 설치하거나 VMWare와 VirtualBox 같은 가상환경에서 Linux OS 설치 하여 도커를 구동 할 수 있다. 이번 Docker : 설치 편에서는 VirtualBox에서 Linux OS를 설치 해보고 Port Forwarding을 통해 HostOS에서 GuestOS로의 SSH접근 및 도커 설치 라고쓰고 리눅스설치 편이라 읽는다. 를 진행 해보도록 하겠다. 먼저 가상환경을 만들기 위한 VirtualBox를 다운로드 한다. (https://www.virtualbox.org/) 다운로드 ..

[Docker : 기초 편] [Docker : 설치 편] [Docker : 컨테이너 편] Docker란? Docker(이하 도커)는 운영체제 급(Operation System Level)의 가상화를 수행하는 컴퓨터 프로그램이다. 여기서 운영체제 급 가상화는 컨테이너 화(Containerization) 라고도 한다. 도커는 어플리케이션을 가상머신기반 게스트OS를 통해 구동되는 방식에서 도커엔진 기반의 컨테이너에서 구동 되도록 설계함으로써 게스트OS 없이 어플리케이션을 구동 할 수 있게 되었다. 도커를 설명하기에 앞서 먼저 가상화 개념에 대한 설명부터 하고자 한다. 가상화(Virtualization)란? 가상화는 컴퓨터에서 컴퓨터 리소스의 추상화를 일컫는 단어로, 쉽게 설명하면 컴퓨터 속에 가상의 컴퓨터를 ..

[카프카(Kafka)] 성능 관련 고찰 Kafka 2019. 1. 16. 19:43 사내 시스템의 임시버퍼 용도로 Redis를 도입하여 성능 테스트를 진행하던 중, 버퍼 용량 이슈로 인하여 Redis와 Kafka를 비교하게 되었다. 우선 결론적으로는 Redis(List)와 Kafka 사용 시 성능 차이는 거의 없었고, Kafka가 보관 용량에 대해선 유리하였다. 이번 주제에서는 Kafka 성능에 대한 정리이므로 Redis & Kafka 비교는 나중에 진행하기로 한다. 궁금증 Kafka는 대용량 메시지 처리 성능이 좋다고 조금만 리서치 해보면 알 수 있다. 그러면.... 처리량이 얼마나 될까? HDD와 SSD는 차이가 발생할까? Producer와 Consumer 수에 따라서 성능 차이가 날까? 여러 Con..