Data Engineer в VK Видео

VK Видео — это один из самых крупных сервисов потокового видео в России. Ежедневно им пользуются десятки миллионов людей, и перед нами стоит амбициозная задача — стать видеосервисом №1 в РФ.

Мы ищем дата-инженера, который будет разрабатывать и поддерживать процессы по обработке и поставке данных кабинета автора VK Видео. На их основе пользователи кабинета смогут проводить аналитику своих видео.

Задачи:

• разрабатывать и поддерживать процессы по обработке и поставке данных для команд аналитики;
• выявлять и собирать требования к существующим и новым данным с последующим формированием конкретного заказа в команду разработки;
• сопровождать выполнение заказов по поставке данных на всех этапах, уточняя требования и проверяя результат.

Требования:

• опыт работы дата-инженером / DWH-инженером / аналитиком-разработчиком от трёх лет;
• SQL: Spark SQL, ClickHouse;
• знания базовых алгоритмов, Python;
• понимание работы кластеров MPP, таких как Hadoop (Spark), YTsaurus;
• опыт работы с Airflow;
• опыт разработки и поддержки витрин DWH;
• опыт работы с передачей данных во внешние системы (Backend сервиса) будет плюсом.