Middle/middle+ Data Engineer

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

• Загружать и обрабатывать в DWH данных внутренних и внешних систем (стек Kafka, PySpark, Hadoop, Clickhouse, AirFlow, s3, dbt, trino);
• принимать участие в построении DWH: проектирование, определение сущностей, формирование витрин данных;
• формировать DQ проверки данных, разрабатывать процессы мониторинга и информирования о качестве данных.

ЧЕГО МЫ ЖДЕМ:

• Опыт обработки больших данных, знание принципов работы БД и методологий моделирования;
• продвинутый уровень владения Python, Apache AirFlow, SQL,dbt;
• понимание концепций непрерывной интеграции, доставки (CI/CD) и работа с контейнерами (Docker);
• высшее образование, широкий технический кругозор;
• проактивность и ответственность за конечный результат;
• английский - на уровне чтения документации.

Будет плюсом:

- Знание Spark и trino.