Москва
Обязанности:
- Cоздание и доработка dag в airflow по загрузке данных в хранилище, по полной и инкрементальной загрузке данных в таблицы-источники;
- Создание dag в airflow по пересчёту витрин данных с учётом зависимостей моделирование таблиц хранилища в части сырого слоя данных, слоя витрин данных;
- Загрузка данных в формате csv, parquet из источников на MS SQL, MySQL, Postgress.
Требования:
- Опыт сопровождения хранилищ данных (DWH);
- Опыт автоматизаций на Python;
- Знание python в части загрузки данных, запросов данных на sql, работы с s3 протоколом;
- Опыт оптимизации и обслуживания высоконагруженных СУБД;
- Практический опыт работы с ETL/ELT инструментами/оркестраторами, например Airflow;
- Опыт работы с системами мониторинга, логирования и визуализации (Zabbix, стек Prometheus-Grafana).
Будет плюсом:
- Опыт с yandex query и yandex datalens;
- Опыт по написанию сложных sql запросов, понимание хранимых процедур на T-sql.
Условия:
- Своевременная "белая" заработная плата (2 раза в месяц на банковскую карту);
- Работа в команде профессионалов над интересными и сложными проектами;
- Официальное трудоустройство и социальные гарантии с первого дня работы;
- Удаленная работа;
- Возможность роста в Data Engineer.
Просим вас в сопроводительном письме указать ваши ожидания по заработной плате. Спасибо)