BigData
-
[카프카] 페이지 캐시(Page Cache)BigData 2021. 4. 20. 16:06
[카프카] 페이지 캐시(Page Cache) 빅데이터(Bigdata)/카프카(Kafka) 2020. 11. 12. 09:16 카프카(Kafka)에서는 페이지 캐시 기능을 써서 매우 높은 처리 속도를 가지고 있다. 페이지 캐시 기능은 OS에서 사용하는 페이지 캐시와 동일한 것이며, 메모리(RAM) 영역에 어플리케이션이 사용하는 부분을 할당하고 남은 잔여 메모리를 캐시로 전환하여 디스크 접근을 최소화해 I/O 성능을 향상시키는 메모리 영역이다. 페이지캐시의 개념 카프카는 페이지 캐시를 적극적으로 사용하고 있기 때문에 서버에 디스크를 SSD로 구성하지 않아도 되며, 페이지 캐시를 사용하기 위해서 잔여 메모리를 쓰기 때문에 카프카 서버에 다른 어플리케이션을 함께 실행하는 것을 권장하지 않는다. JVM 힙사이즈 ..
-
-
[kafka] lag 생긴다고 파티션 추가하는 것에 대해BigData 2021. 4. 5. 15:07
카프라 토픽에 저장된 데이터가 너무 많아지면 lag의 값은 점점 커진다. lag이 커지면 처리되야 할 양은 많아지고, 결국 카프카가 저장하는 토픽 저장소의 한계도 넘어서게 된다. 따라서, 이럴 때 간단히 해결할 수 있는 방법은 파티션을 늘리는 것이다. topic에 할당한 파티션(partion)의 개수가 5이면 10개로 늘리면, 조금씩 lag이 줄어든다.. 10개이면 20개로 늘리면 조금씩 lag이 줄어든다. consumer group의 병렬 처리 정도는 consume하는 파티션의 수에 의해 제한된다. 따라서 일반적으로 파티션이 많아지면 당연히 처리량, throghput이 높아진다. 그렇다면 파티션을 늘리는 것이 답일까?? 먼가 kafka에 영향을 주지 않을까 고민하던데 차에. 아래 문서를 보게 되었다. ..
-
[kafka] lag 생긴다고 파티션 추가하는 것에 대해BigData 2021. 4. 5. 15:01
카프라 토픽에 저장된 데이터가 너무 많아지면 lag의 값은 점점 커진다. lag이 커지면 처리되야 할 양은 많아지고, 결국 카프카가 저장하는 토픽 저장소의 한계도 넘어서게 된다. 따라서, 이럴 때 간단히 해결할 수 있는 방법은 파티션을 늘리는 것이다. topic에 할당한 파티션(partion)의 개수가 5이면 10개로 늘리면, 조금씩 lag이 줄어든다.. 10개이면 20개로 늘리면 조금씩 lag이 줄어든다. consumer group의 병렬 처리 정도는 consume하는 파티션의 수에 의해 제한된다. 따라서 일반적으로 파티션이 많아지면 당연히 처리량, throghput이 높아진다. 그렇다면 파티션을 늘리는 것이 답일까?? 먼가 kafka에 영향을 주지 않을까 고민하던데 차에. 아래 문서를 보게 되었다. ..
-
-
-