Обязанности:
-
Разработка и поддержка системы обработки данных на базе KAFKA и ClickHouse.
-
Подключение базы данных RiskData в качестве консамера для загрузки данных из топиков KAFKA.
-
Обеспечение гарантированной доставки данных в KAFKA (atleast once) из всех систем источников.
-
Разработка архитектурных решений для систем, не способных гарантировать доставку данных.
-
Использование версионного движка семейства MergeTree для хранения данных.
-
Автоматическое шардирование данных, основываясь на идентификаторах событий и клиентов
-
Обогащение данных клиентов данными событий, с соответствующим шардированием.
Требования:
-
Опыт работы с KAFKA и настройкой топиков.
-
Глубокое знание базы данных ClickHouse, включая движки MergeTree.
-
Умение работать с системами гарантированной доставки данных.
-
Опыт в автоматическом шардировании данных.
-
Понимание архитектуры систем обработки данных и умение разрабатывать решения для различных источников данных.
-
Навыки в оценке объема данных и количества шардов.
-
Опыт в работе с большими объемами данных и оптимизации их хранения и обработки.
Будет плюсом:
-
Опыт работы с RiskData.
-
Понимание архитектуры систем событийно-ориентированных данных.
-
Навыки работы с системами аналитики и построением схем данных.
-
Мы оформляем официально и предлагаем стабильный и прозрачный доход
-
Все льготы и преимущества работы в аккредитованной ИТ-компании
-
Партнерские программы и скидки для сотрудников
-
Удаленный формат работы
