Senior Big Data Engineer (A/B Platform)

Мы в поиске старшего Инженера по работе с большими данными на проект по развитию A/B платформы.

Наша BigData платформа это:
- система сбора данных, хранения, подсчета, тестирования и оркестрации пайплайнов;
- A/B платформа;
- ML платформа;
- рекламная платформа;
- аналитический тулинг;
- хранилище продуктовых логов.

Мы хотим расширять функциональность A/B платформы, улучшать качество пайплайнов, оптимизировать способы подсчета метрик, уменьшать время проведения A/B тестирования.

Чем предстоит заниматься:

• Разрабатывать и создавать лучшую на рынке платформу данных электронной коммерции нового поколения;
• Развивать архитектуру A/B платформы, проектировать эффективное хранение данных;
• Прорабатывать и реализовывать новые фичи в A/B пайплайне;
• Адаптировать логику расчетов A/B экспериментов в соответствии с требованиями продуктов и современными трендами отрасли;
• Взаимодействовать с пользователями A/B платформы, собирать требования по новым фичам, выявлять слабые места;
• Проектировать и разрабатывать ETL пайплайны на Airflow для Spark, Hive, Trino, а также оптимизировать действующие пайплайны и джобы на Spark;
• Обеспечивать качество данных в разных системах;
• Анализировать и внедрять инструменты инжиниринга данных.

Мы ожидаем:

• Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive);
• Опыт работы со Spark, PySpark;
• Опыт работы с Python;
• Опыт работы с Airflow.

Как плюс:

• Опыт работы с Docker;
• Опыт с Scala;
• Опыт с облачными технологиями (AWS, GCP, Yandex);
• Опыт работы с A/B платформой.