Задачи специалиста:
-
Миграция Hadoop на новый BigData стек
-
Сбор информации об интегрируемых системах, получение сетевых доступов и учетных записей в тестовых и продуктивных контурах
-
Анализ документации и фактической реализации витрин Hadoop, определение конечного списка потоков для миграции
-
Постановка задач разработчику на перенос ETL-процессов
-
Формирование технической документации по процессам миграции
-
Исходная платформа: Hadoop (Oozie, Hive, YARN, Spark), данные в Parquet/ORC, Scala/Python
-
Целевая платформа: MinIO + Apache Iceberg, Airflow, Kubernetes, PySpark
-
Инструменты: Git, Confluence, Jira, CI/CD
Требования к кандидату:
-
Опыт работы системным аналитиком или разработчиком от 3 лет
-
Хорошее владение SQL (сложные запросы, pivot-анализ)
-
Практический опыт работы с Python
-
Умение работать с командной строкой Linux
-
Опыт работы с форматами данных: XML, JSON
-
Понимание принципов построения ETL-процессов и витрин данных
-
Практическое применение UML-диаграмм
-
Понимание работы РСУБД
-
Базовые знания: Apache Spark, Apache Hive, Airflow
Будет плюсом:
-
Опыт интеграций систем и миграции витрин данных
