Data Engineer Apache Ni-Fi (Дубай)

Дата размещения вакансии: 22.09.2025
Работодатель: Neoflex
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

Data Engineer (Apache NiFi) — Дубай

Хочешь прокачаться на крупном финтех-проекте в одном из ведущих банков ОАЭ и работать с мощной потоковой обработкой данных?
Мы — международная IT-компания, ищем опытного Data Engineer с экспертизой в Apache NiFi, который поможет нам развивать высоконагруженную платформу.

Что важно знать сразу

  • Локация: Дубай, работа в офисе 3–4 раза в неделю

  • Релокация: полный пакет — оформление ВНЖ, оплаченный переезд и медицинская страховка

  • Английский: свободный уровень B2 и выше

Твои задачи

  • разработка, поддержка и оптимизация сложных потоков данных в Apache NiFi на продакшн-уровне;

  • интеграция с Cloudera и другими корпоративными системами;

  • обеспечение стабильной и отказоустойчивой работы кластеров.

Что мы ждём от тебя:

  • глубокие знания принципов проектирования потоков NiFi, включая грамотное использование очередей, back pressure, приоритизаторов и настройку соединений;

  • уверенное владение службами контроллера: SSLContextService, DBCPConnectionPool, RecordReader/RecordWriter;

  • опыт работы с форматами Avro, JSON, CSV и процессорами ConvertRecord, QueryRecord, LookupRecord;

  • умение отлаживать и оптимизировать потоки с использованием Data Provenance, bulletins и анализа логов;

  • знание разработки кастомных процессоров на Java/Groovy (плюс);

  • опыт настройки защищённых кластеров NiFi: аутентификация (LDAP, OIDC), TLS-сертификаты, политики доступа;

  • владение параметрическими контекстами, Variable Registry и версионированием через NiFi Registry;

  • понимание модели кластеризации Zero-Master, координации узлов и протокола site-to-site;

  • опыт развёртывания и мониторинга NiFi в средах высокой доступности с Prometheus/Grafana или Cloudera Manager.

Общий опыт и навыки:

  • 5+ лет практической работы с Apache NiFi в продакшне;

  • опыт работы с Cloudera NiFi (CDP DataFlow) и интеграцией с Cloudera Manager;

  • успешные миграции потоков NiFi между мажорными версиями с сохранением совместимости;

  • уверенное владение скриптингом на Groovy для процессоров ExecuteScript и InvokeScriptedProcessor;

  • отличное понимание протоколов SSH и SFTP, включая все схемы аутентификации, права доступа и работу процессоров ListSFTP, FetchSFTP, PutSFTP;

  • знание механизмов шифрования, управления ключами и безопасной обработки flowfile через EncryptContent;

  • опыт интеграции с MongoDB (GetMongo, PutMongo, QueryMongo);

  • работа с Apache Kafka: PublishKafka, ConsumeKafka, работа с Confluent Schema Registry;

  • уверенные знания Red Hat Enterprise Linux (RHEL): systemd-сервисы, права файловой системы, ротация логов, тюнинг ресурсов для JVM-приложений.

Будет плюсом:

  • опыт в строго регулируемых или безопасных средах с повышенными требованиями к обработке данных и аудиту;

  • знакомство с DevOps-подходами: версия шаблонов потоков (JSON/XML), CI/CD для NiFi Registry, автоматизация деплоя;

  • отличные коммуникационные навыки и умение документировать решения и менторить коллег.

Что предлагаем:

  • работу с cutting-edge технологиями и высоконагруженными системами;

  • релокацию в Дубай с полным сопровождением: перелёт, ВНЖ, медицинская страховка;

  • комфортный современный офис и дружную команду;

  • конкурентную зарплату по рынку ОАЭ — обсуждаем после технического интервью.

Готов присоединиться? Отправляй отклик — будем рады познакомиться!