Ищем Sr Data Engineer в команду со сложной технической задачей.
Работать предстоит над подсистемой биржевого аналитического продукта, которая называется MDH (Market Data Hub) и отвечает за эффективное хранение и быструю отдачу биржевых данных.
У нас не будет BigData, упор - на качество данных, покрытие тестами, визуализацию.
ВАЖНО: у кандидата должно быть понимание бизнес-сути продукта, то есть фондового рынка и инвестирования.
Обязанности:
• Настройка интеграций с источниками данных
• Организация и поддержка работы каталога данных
• Поддержка и помощь в работе с хранилищем данных
• Взаимодействие с командами разработки и аналитики
Требования:
1. Опыт работы с Apache Airflow в корпоративной среде:
• Настройка и управление пайплайнами данных.
• Опыт разработки DAG на Python для автоматизации ETL процессов.
• Оптимизация и мониторинг выполнения DAG-ов.
2. Опыт самостоятельной разработки ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных
3. Понимание принципов и опыт работы с каталогами данных
4. Навыки работы с DBT (Data Build Tool):
• Разработка и поддержка моделей данных с использованием DBT.
• Интеграция DBT в пайплайны данных для трансформации данных.
• Понимание процессов версионирования моделей данных.
5. Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming). Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно)
6. Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих.
7. Опыт работы с реляционными базами данных (PostgreSQL, MSSQL)
Будет плюсом:
8. Опыт работы с облачными платформами (Yandex.Cloud)
9. Навыки работы с системами контроля версий (Git), настройка CI/CD для дата-процессов
Условия:
- Удаленная работа;
-Свободная локация;
- Fulltime по МСК +/-2 часа;
- Взаимодействие по ИП;
- Полная занятость, долгосрочный проект.
