Apache Kafka – распределённая платформа потоковой передачи событий, созданная в LinkedIn и переданная в Apache Software Foundation в 2011 году. Kafka хранит события в виде упорядоченных журналов (топиков), разделённых на партиции и реплицированных между брокерами, и позволяет множеству потребителей читать их независимо.
Основные понятия
- Топик и партиции, смещение (offset).
- Продюсеры и потребители, группы потребителей.
- Репликация и хранение событий заданное время.
- Kafka Connect для коннекторов к источникам и приёмникам.
- Kafka Streams для потоковой обработки.
Где применяется
- Шина событий между микросервисами.
- Сбор логов, метрик и кликов.
- CDC и загрузка данных в хранилища.
- Потоковая аналитика и антифрод.
Что важно при эксплуатации
- Планирование партиций и хранения.
- Мониторинг задержки потребителей.
- Безопасность: аутентификация, шифрование, ACL.
- Российские дистрибутивы и сервисы с поддержкой для корпоративного использования.