з/п не указана
Санкт-Петербург
От 3 до 6 лет
В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer.
Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.
Задачи
- Построение новых и оптимизация старых ETL-процессов
- Участие в доработках платформы и фреймворка расчётов (Java, Spark)
- Разработка новых витрин данных для задач аналитики и A/B-экспериментов
- Разработка отчётов в SuperSet
Требования
- Опыт работы с SQL и большими объёмами данных
- Опыт построения сложных ETL-процессов
- Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки
- Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
- Опыт работы с Spark, Java
- Желателен опыт работы с Hadoop-стеком, ClickHouse, Airflow
- Будет плюсом опыт работы с YTsaurus, YQL
