Data Engineer (Apache NiFi) — Дубай
Хочешь прокачаться на крупном финтех-проекте в одном из ведущих банков ОАЭ и работать с мощной потоковой обработкой данных?
Мы — международная IT-компания, ищем опытного Data Engineer с экспертизой в Apache NiFi, который поможет нам развивать высоконагруженную платформу.
Что важно знать сразу
-
Локация: Дубай, работа в офисе 3–4 раза в неделю
-
Релокация: полный пакет — оформление ВНЖ, оплаченный переезд и медицинская страховка
-
Английский: свободный уровень B2 и выше
Твои задачи
-
разработка, поддержка и оптимизация сложных потоков данных в Apache NiFi на продакшн-уровне;
-
интеграция с Cloudera и другими корпоративными системами;
-
обеспечение стабильной и отказоустойчивой работы кластеров.
Что мы ждём от тебя:
-
глубокие знания принципов проектирования потоков NiFi, включая грамотное использование очередей, back pressure, приоритизаторов и настройку соединений;
-
уверенное владение службами контроллера: SSLContextService, DBCPConnectionPool, RecordReader/RecordWriter;
-
опыт работы с форматами Avro, JSON, CSV и процессорами ConvertRecord, QueryRecord, LookupRecord;
-
умение отлаживать и оптимизировать потоки с использованием Data Provenance, bulletins и анализа логов;
-
знание разработки кастомных процессоров на Java/Groovy (плюс);
-
опыт настройки защищённых кластеров NiFi: аутентификация (LDAP, OIDC), TLS-сертификаты, политики доступа;
-
владение параметрическими контекстами, Variable Registry и версионированием через NiFi Registry;
-
понимание модели кластеризации Zero-Master, координации узлов и протокола site-to-site;
-
опыт развёртывания и мониторинга NiFi в средах высокой доступности с Prometheus/Grafana или Cloudera Manager.
Общий опыт и навыки:
-
5+ лет практической работы с Apache NiFi в продакшне;
-
опыт работы с Cloudera NiFi (CDP DataFlow) и интеграцией с Cloudera Manager;
-
успешные миграции потоков NiFi между мажорными версиями с сохранением совместимости;
-
уверенное владение скриптингом на Groovy для процессоров ExecuteScript и InvokeScriptedProcessor;
-
отличное понимание протоколов SSH и SFTP, включая все схемы аутентификации, права доступа и работу процессоров ListSFTP, FetchSFTP, PutSFTP;
-
знание механизмов шифрования, управления ключами и безопасной обработки flowfile через EncryptContent;
-
опыт интеграции с MongoDB (GetMongo, PutMongo, QueryMongo);
-
работа с Apache Kafka: PublishKafka, ConsumeKafka, работа с Confluent Schema Registry;
-
уверенные знания Red Hat Enterprise Linux (RHEL): systemd-сервисы, права файловой системы, ротация логов, тюнинг ресурсов для JVM-приложений.
Будет плюсом:
-
опыт в строго регулируемых или безопасных средах с повышенными требованиями к обработке данных и аудиту;
-
знакомство с DevOps-подходами: версия шаблонов потоков (JSON/XML), CI/CD для NiFi Registry, автоматизация деплоя;
-
отличные коммуникационные навыки и умение документировать решения и менторить коллег.
Что предлагаем:
-
работу с cutting-edge технологиями и высоконагруженными системами;
-
релокацию в Дубай с полным сопровождением: перелёт, ВНЖ, медицинская страховка;
-
комфортный современный офис и дружную команду;
-
конкурентную зарплату по рынку ОАЭ — обсуждаем после технического интервью.
Готов присоединиться? Отправляй отклик — будем рады познакомиться!