Data Engineer (Batching)

Дата размещения вакансии: 03.07.2024
Работодатель: Звук
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

Мы находимся в поиске middle/senior DE в команду, которая активно развивает направление Data Platform.

Задачи:

  • Оптимизировать PySpark джобы.
  • Создавать пайплайны NRT обработки данных для аналитики и рекомендаций.
  • Подключать источники новые источники событий.
  • Внедрять Data Quality Gates и лучшие практики работы с данными.
  • Интегрировать платформу данных Звука в большую экосистему Сбера.

Требования:

  • Релевантный опыт работы на Python/Scala: от 2-х лет.
  • Практический опыт работы с Spark, Hadoop, Airflow, Kafka.
  • Знакомство с Kubernetes и опыт его использования в работе.