Мы в поиске Инженера по работе с большими данными в направление дата инжиниринга, который будет участвовать в значимых для инфраструктуры данных в Lamoda проектах.
Наш стек: Spark 3.3, Spark streaming (structured/direct), Airflow v2.7.3, hive, trino 436
Чем предстоит заниматься:
-
Разрабатывать и создавать лучшую на рынке платформу данных электронной коммерции нового поколения;
-
Проектировать и разрабатывать ETL пайплайны на Airflow для Spark, Streaming, Hive, Trino etl;
-
Оптимизировать действующие пайплайны и джобы на Spark - мониторить с помощью Graphana и Prometheus нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
-
Обеспечивать качество данных в разных системах, проектировать платформу Data Quality - предоставлять заказчикам данных платформу quality чеков, мониторинга и алертинга о текущем состоянии данных;
-
Взаимодействовать с продуктовыми аналитиками, оптимизировать сложные SQL запросы, формировать культуру работы с данными;
-
Анализировать и внедрять инструменты инжиниринга данных.
Мы ожидаем:
-
Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive);
-
Опыт работы в Spark;
-
Опыт работы с одним из языков программирования (Python, Scala, Java)
-
Опыт написания юнит/интеграционных тестов;
-
Хорошее понимание СУБД, SQL;
-
Страсть к инженерным наукам и информатике вокруг данных.
Как плюс:
-
Опыт работы с Docker;
-
Опыт работы с Kubernetes;
-
Опыт написания CI/CD пайплайнов;
-
Опыт работы с Kafka.
