Welcome to Записки непрофессионала

Дамп мозга

Статьи посвященные стеку Apache Hadoop

Kafka consumer offset

Есть у kafka механизм, позволяющий сохранять позицию чтения из потока, называется — consumer offset. Сегодня я узнал от авторитетных людей что практика хранения оффсетов во внешнем источнике — это: «вполне допустимый механизм, более того единственный для гарантирования доставки». Пу-дум-тсс… Занавес! P.S. Продолжение следует, т.к. нужно еще мониторинг лага чтения из Kafka сделать 😉

Про очевидное

Иногда задумываешься что вот, вроде бы, очевидная вещь. И записывать про это особо ничего и не нужно. Но потом оказывается что очевидно это только для тебя, а чтобы остальным до этого дойти нужно приложить существенные усилия, время. По этому записывать буду всё, местами дотошно разжевывая, разьве что кроме тривиальных yum install и разъяснений процесса установки… read more »

Sidebar



Перейти к верхней панели