Москва
Мы продолжаем усиление нашего Data-департамента, и прямо сейчас мы ищем инженера данных в команду Data Platform.
Тебе предстоит:
- Поддерживать и оптимизировать spark-джобы.
- Трансформировать ETL из overnight batching в realtime streaming на Spark3.
- Создавать пайплайны NRT обработки данных для аналитики и рекомендаций.
- Подключать источники новые источники событий.
- Релевантный опыт работы на Scala: от 2-х лет.
- Практический опыт работы с Spark, Hadoop, Airflow, Kafka, Docker.
- Знакомство с Kubernetes и опыт его использования в работе.