BigData - Kafka

Broker - Отдельный Kafka сервер. Получает сообщения от producers. Хранит у себя на диске. Отдатет сообщения consumers.

Producers - генерируют новые сообщения.

Consumers - читают сообщения.

Сообщения в Kafka распределяются по topics. Topics разбиваются на partitions.

Consumer подписывается на одну тему или более и читает сообщения в порядке их создания. Он отслеживает, какие сообщения он уже прочитал, запоминая смещение (offset) сообщений.

Apache Kafka использует ZooKeeper для хранения метаданных о кластере Kafka, а также подробностей о клиентах-потребителях. Полная версия ZooKeeper отдельный дистрибутив. Какая-то (по всей видимости) ограниченная версия ZooKeeper имеется прям в дистрибутиве Kafka.


Запуск kafka в docker контейнере

Инсталляция kafka в ubuntu с использованием vagrant и ansible

Скрипты развертывания kafka с помощью ansible

Примеры работы с kafka

Отправка логов в kafka