Москва
Обязанности:
- Разработка приложения для построения витрин данных с использованием Apache Airflow / Spark на платформе анализа данных;
- Сборка и валидация датасетов для передачи в отдел разработки моделей;
- Оптимизация/рефакторинг DAG’ов, обеспечение стабильности и производительности в соответствии с типовыми инженерными практиками платформы;
- Взаимодействие с аналитиками в задачах проектирования и анализа данных.
Требования:
Ключевые навыки (обязательно):
- Знания SQL, Python;
- Общее понимание концепций DWH;
Желательно:
- Понимание сути разработки ETL процессов;
- Знакомство с Apache Airflow / SPARK;
Будет плюсом:
- Любой опыт с СУБД Arenadata/Hadoop/hive.
- Понимание специфики банковских процессов и сущностей;
- Знание принципов, процессов, этапов (жизненного цикла) разработки хранилищ, витрин данных.