Data Engineer (Инженер данных)

Обязанности:

• Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными. их обновление, расчет метрик качества данных для мониторинга);
• Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов;
• Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana;
• Написание unit тестов (pytest), тестов для различных участков ML пайплайна, участие в код ревью;
• Не обязательно, но будет большим плюсом: опыт работы с ML, выведения ML моделей в продакшн.

Требования:

• Опыт в применении основных подходов к распределенной обработке больших данных (MapReduce, MPP, etc);
• Опыт в применении основных подходов и практик проектированию OLAP баз данных;
• Знание основных подходов и практик проектированию реляционных баз данных;
• Знание языков программирования Python (Java, Scala);
• Знание SQL;
• Знание основных рабочих инструментов: Hadoop, Hive, Spark, Airflow, PostgreSQL, Git, Docker;
• Знание Greenplum, Clickhouse;
• Знание Kafka;
• Знание K8S.

Условия:

• Официальное оформление с белой ЗП, ежеквартальные премии по результатам работы;
• Удобный офис рядом с м. «Добрынинская» / удобный офис с бесплатной парковкой на м. «Волгоградский проспект» / МЦД «Калитники»;
• Гибкий график работы;
• Возможность работать удалённо или в гибридном формате;
• Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья;
• Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков, онлайн и офлайн мастер-классы, школа наставников и многое другое;
• Обмен опытом через cообщества: 12 технических комьюнити от java до devops;
• Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства;
• Забота о благополучии сотрудников: 7 спортивных сообществ (бег, футбол, волейбол, баскетбол, хоккей, лыжи, триатлон), ежегодная Неделя здоровья;
• Программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров);
• Материальная помощь сотрудникам, попавшим в сложную жизненную ситуацию.