DevOps-инженер

Задачи:

• Оркестрация контейнеров: Docker, Docker Compose, Kubernetes.
• Настройка и поддержка CI/CD (предпочтительно GitLab CI/CD) для деплоя ETL/ELT-процессов и сервисов DWH.
• Поддержка и оптимизация DWH: PostgreSQL, ClickHouse.
• Настройка и сопровождение ETL/ELT-пайплайнов:
  • Apache Airflow (оркестрация)
  • Apache NiFi (потоковая передача и трансформация данных)
• Обеспечение отказоустойчивости и производительности DWH (партиционирование, репликация, настройка параметров СУБД).
• Настройка CDC (Change Data Capture) с использованием Apache Kafka + Kafka Connect / Debezium.
• Мониторинг загрузок и состояния DWH-компонентов.
• Автоматизация рутинных задач через Bash и регулярные выражения (логи, разбор данных).
• Интеграция Keycloak для управления доступом к компонентам платформы (Superset, Airflow, Kafka UI и т.д.).
• Развёртывание и поддержка Apache Superset (визуализация данных).
• Опыт администрирования DWH на PostgreSQL (оптимизация запросов, настройка для аналитических нагрузок, партиционирование, репликация, бэкапы).
• Уверенное знание и практический опыт с Apache Airflow (DAG’и, сенсоры, операторы, подключение к БД, мониторинг).
• Опыт работы с Apache NiFi (проектирование потоков, контроллеры сервисов, процессоры для БД и Kafka).
• Понимание Apache Kafka (топики, продюсеры/консьюмеры, Kafka Connect) — для CDC и потоковой передачи данных.
• Навыки работы с ClickHouse (создание таблиц, распределённые запросы, базовое администрирование).
• Опыт с Docker и Kubernetes (развёртывание вышеуказанных сервисов, Helm приветствуется).

Наши ожидания:

• Опыт администрирования DWH на PostgreSQL (оптимизация запросов, настройка для аналитических нагрузок, партиционирование, репликация, бэкапы).
• Уверенное знание и практический опыт с Apache Airflow (DAG’и, сенсоры, операторы, подключение к БД, мониторинг).
• Опыт работы с Apache NiFi (проектирование потоков, контроллеры сервисов, процессоры для БД и Kafka).
• Понимание Apache Kafka (топики, продюсеры/консьюмеры, Kafka Connect) — для CDC и потоковой передачи данных.
• Навыки работы с ClickHouse (создание таблиц, распределённые запросы, базовое администрирование).
• Опыт с Docker и Kubernetes (развёртывание вышеуказанных сервисов, Helm приветствуется).
• GitLab CI/CD (или аналоги: Jenkins, GitHub Actions) — умение собрать пайплайн для тестирования и деплоя DWH-кода.
• Bash — написание скриптов для автоматизации (очистка логов, перезапуск сервисов, бэкапы).
• Регулярные выражения (regex) — парсинг логов, подготовка данных.

  Будет плюсом, но не обязательно:

• Java (понимание JVM-приложений, т.к. Airflow/NiFi/Kafka написаны на Java — для диагностики проблем).
• Keycloak (настройка OIDC для Superset/Airflow).
• Superset (администрирование, подключение к ClickHouse/PostgreSQL).
• Опыт с Kafka Connect для CDC.

Мы предлагаем:

• Оформление по ТК РФ (наличие аккредитации компании-работодателя в сфере ИТ)
• Забота о здоровье: расширенный пакет ДМС, включая стоматологию
• Программы корпоративных привилегий

PrimeZone: скидки на товары и услуги, специальные предложения от компаний- партнёров

• Корпоративные спорт: футбольный и волейбольный клуб, беговые марафоны, скидки в World Class
• Комфортный офис в шаговой доступности от м. Парк Культуры
• Гибридный график работы с 9.00 до 18.00