Selecty находится в поиске Инженера по данным в штат крупной ИТ компании
Предполагается удаленный формат работы.
Ваши задачи:
-
Написание пайплайнов по работе с данными с использованием Airflow, Spark
-
Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana;
-
Написание unit тестов (pytest), тестов для различных участков ML пайплайна, участие в код ревью;
-
Будет плюсом: опыт работы с ML, выведения ML моделей в продакшн.
Требования
-
Опыт в применении основных подходов к распределенной обработке больших данных (MapReduce, MPP, etc);
-
Опыт в применении основных подходов и практик проектированию OLAP баз данных;
-
Знание языков программирования Python (Java, Scala);
-
Знание SQL;
-
Знание основных рабочих инструментов: Hadoop, Hive, Spark, Airflow, PostgreSQL, Git, Docker;
-
Знание Greenplum, Clickhouse;
-
Знание Kafka;
-
Знание K8S.
Условия
-
Официальное оформление с белой ЗП, ежеквартальные премии по результатам работы;
-
Гибкий график работы;
-
Возможность работать удалённо или в гибридном формате;
