Data engineer

Твои задачи:

• Анализ источников данных в легаси БД MSSQL: сбор информации о наполнении, выявление ключевых бизнес-сущностей и зависимостей, регламентных операций
• Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище
• Разработка и поддержка моделей данных и трансформации в DBT для формирования конечных витрин
• Организация и автоматизация процессов оркестрации с Airflow
• Обеспечение качества, тестирование данных и их целостности при миграции и трансформации
• Внедрение и сопровождение процессов инкрементальной загрузки и оптимизации производительности
• Работа с потоками данных и интеграция с Kafka

Мы ждем от тебя:

• Опыт работы с Python, S3, Kafka, Postgres, MSSQL, MongoDB, Clickhouse, Git, Docker
• Понимание принципов нормализации и денормализации, владение методологией Data Vault и другими подходами к моделированию
• Способность проектировать и создавать модели данных, адаптированные для аналитических задач и эффективной работы DWH
• Опыт создание и поддержки ETL/ELT-конвейеров данных
• Опыт документирования моделей данных и поддержания их совместимости с процессами ETL/ELT и бизнес-метриками
• Умение создавать модели данных и преобразования с помощью DBT
• Опыт оркестрации процессов с помощью Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач

Что мы обеспечим:

• Крупный проект, который даст возможности развития
• Экспертную, сплоченную команду и возможности развития
• Гибридный или удаленный формат работы на выбор
• Предоставление корпоративной техники
• Сессии профессионального развития 2 раза в год, результатом которой является план индивидуального развития каждого сотрудника и получение обратной связи
• Сообщества по интересам: Лига Спорта, Лига Performance, Лига Интеллекта и др., а также возможность организовать свое сообщество и получить поддержку от компании