[Rebrain] Мини-практикум KAFKA [Алексей Калакин, Николай Макаров, Матвей Сухов]

Robot · 17 Июн 2024

Apache Kafka – распределенный программный брокер сообщений для организации очередей в целях отслеживания больших потоков входных данных.

На сегодняшний день Apache Kafka является стандартом индустрии в качестве брокера сообщений.
Более 80 % компаний из Fortune 100 используют Kafka.

Модуль 1. Инфраструктура:

Что такое очередь сообщений и журнал сообщений
Для чего нужен брокер сообщений
Аналоги Kafka и дистрибутивы Kafka
Архитектура Kafka
Установка Kafka
Базовая настройка
Обзор WebUI
Документация
Настройка с ZooKeeper
Настройка с KRaft
Настройка аутентификации и авторизации через GSSAPI + Kerberos
Мониторинг Kafka: метрики
Настройка мониторинга Kafka на базе Prometheus & JMX Exporter
Отказустойчивость Kafka
Поведение в случае отказа broker/consumer/producer
Защищённый кластер Hardware Administration: как рассчитать необходимые мощности (CPU, Network, HDD, RAM) для кластера

Модуль 2. Разработка:

Конфигурация Producer
API продюсера
send(), ack и callback-отправки
Синхронная и ассинхронная отправка
Транзакции Producer
Сериализаторы: знакомство
Конфигурация Consumer
Offset и Commit
Партиции
Транзакции
API Консьюмера
Настройка аутентификации и авторизации через GSSAPI + Kerberos
Apache Avro Schema Registry: как валидировать структуру сообщений с её помощью
Event-driven архитектура и пример её применения
Репликация в Kafka
Партицирование
Контроллеры и лидеры
Работа с несколькими consumer/producer на одном топике
Гарантии доставки в Kafka и как они достигаются
Retention
Что такое Kafka Connect и зачем он нужен
Use cases Connect
Типы коннекторов
Kafka Streams: зачем нужны и как могут упростить архитектуру
Processor: что такое и как подключается
KSQL и KSQLdb: что такое и как пользоваться
Программа охватывает все основные аспекты работы с Kafka.

Научимся:

Производить установку и настройку Apache Kafka
Выбирать и настраивать WebUI интерфейс в зависимости от требуемых результатов
Настраивать мониторинг данных на базе prometheus & jmx exporter
Настраивать защищённый мультиброкерный отказоустойчивый кластер
Создавать и конфигурировать продюсеры и консьюмеры
Валидировать структуру данных с помощью Schema registry
Обеспечивать гарантию доставки данных
Настраивать и использовать Kafka connect и Kafka streams

Для работы с практикумом необходимо:

Уверенно владеть каким-либо языком программирования (предпочтительны Java, Python)
Иметь базовые представления об асинхронных вычислениях, общепринятых форматах данных
Базовое знание сетей

Практикум рассчитан на разработчиков среднего и начинающего уровня, желающих познакомиться с инструментом Apache Kafka и углубить свои познания в нем.