Находимся в поиске Senior Data engineer на международный банковский проект.
Ты наш кандидат, если:
-
Опыт работы Data Engineer или DWH разработчиком от 6 лет;
-
Глубокие знания SQL и опыт оптимизации сложных запросов;
-
Опыт работы с технологиями DWH/Lakehouse: Apache Spark, Delta Lake, ClickHouse, или аналогичными;
-
Уверенное владение Python для написания скриптов и интеграции данных;
-
Опыт построения и поддержки ETL/ELT пайплайнов, знание оркестраторов (Airflow, Luigi);
-
Знание принципов распределенных систем и опыт работы с потоковыми данными (Kafka будет плюсом);
-
Понимание архитектуры DWH/Lakehouse с фокусом на производительность и масштабируемость;
-
Навыки работы с аналитиками и построения бизнес-метрик, поддержки отчетности;
-
Внимание к качеству, точности и безопасности данных.
Будет преимуществом:
-
Опыт работы с облачными платформами (AWS, Azure, Google Cloud);
-
Знание технологий контейнеризации (Docker, Kubernetes);
-
Навыки работы с инструментами управления метаданными (DataHub, OpenMetadata);
-
Опыт в автоматизации CI/CD для данных и мониторинга данных;
-
Опыт работы с BI инструментами и/или с данными по банковским продуктам.
Твои задачи:
- Проектирование, разработка и оптимизация ETL/ELT процессов для интеграции и обработки данных из различных источников в DWH/Lakehouse;
- Создание и управление слоями данных (RAW, STG, ODS, DM, Marts) для обеспечения качественных витрин данных;
- Обеспечение качества данных (Data Quality), мониторинг и настройка алертов для стабильной работы данных процессов;
- Взаимодействие с аналитиками для поддержки бизнес-аналитики и построения отчетности (не регуляторной);
- Оптимизация запросов и производительности хранилищ данных;
- Документирование процессов и технических решений;
- Автоматизация и сопровождение процессов загрузки, переобработки и обновления данных;
Условия:
- Локация: любая (работаем по МСК);
- Форма взаимодействия: ИП;
- Долгосрочный проект.
