Data Engineer

Открыта вакансия у наших партнеров Data Engineer в крупнейшей компании FMCG.

Опыт и стаж работы:

• Опыт на позиции Data Engineer от 1,5 лет
• Разработка и поддержка ETL-пайплайнов
• Оптимизация производительности запросов (партиционирование, индексы, кеширование)
• Участие в Data Governance

Обязанности:

• Проектировать и собирать витрины данных по разработанному ТЗ
• Проектировать, разрабатывать и поддерживать ETL-процессы для загрузки данных из/в Data Lake
• Писать документацию - комментировать код
• Проводить кросс-ревью кода
• Работать с data-аналитиками для создания новых и оптимизации существующих витрин

Требования:

• Понимание основных операций СУБД и принципов DWH
• Понимание принципов ETL
• Опыт работы с Hadoop технологиями (Spark, Hive и тд)
• Опыт работы с Azure/Yandex облачными платформами
• Опыт разработки и поддержки DAGs в Apache Airflow
• Уверенное владение SQL, Python, pySpark

Будет плюсом:

• Опыт работы с базами данных PostgreSQL и ClickHouse
• Опыт работы с Trino
• Опыт работы с инструментами обеспечения качества данных (Great Expectations)

Условия:

• аккредитованная it-компания

• удаленная работа с возможностью гибкого графика

• процесс обмена знаниями и рост в команде

• график работы 5/2

• интересные и нетривиальные задачи

• дружный коллектив