Data Engineer ML
Мы – РТК ИТ, аккредитованная ИТ компания, оказывающая полный комплекс услуг по разработке и внедрению программных решений.
Каждый день на наших проектах задействовано 4200+ сотрудников, у нас 70+ направлений разработки различных решений. За 11 лет нашей работы мы успешно реализовали более 60 ИТ-продуктов.
Проект - модуль генерации фичей (конструктор).
Мы предлагаем:
- Удаленную работу с гибким началом рабочего дня (на территории РФ);
- Оформление по ТК РФ в аккредитованной ИТ-компании;
- Оклад и годовая премия;
- Кафетерий льгот с возможностью выбора категорий (ДМС или компенсация затрат на медицинские услуги, спорт и т.д.).
Вам предстоит:
- Разработка и оптимизация ETL пайплайнов;
- Реализация витрин данных на Spark;
- Оптимизация вычислений и работа с узкими местами платформы;
- Построения и развитие архитектуры платформы;
- Перенос моделей машинного обучения в прод;
- Взаимодействие с Data Scientist командой;
- Coding, refactoring, code review;
- Сбор и подготовка данных для обучения моделей, развитие feature store.
Нам важны:
- Опыт работы в роли Data engineer от 3 лет;
- Знание Python (Scala или Java);
- Отличное знание SQL, опыт работы с реляционными БД (GreenPlum/PostgreSQL, Oracle);
- Опыт работы c Spark, Hadoop, Hive;
- Опыт работы с Airflow.
Будет плюсом:
- Знание алгоритмов, библиотек ML, статистического анализа;
- Опыт работы с Docker, ClickHouse;
- Опыт построения CI/CD в gitlab, дашборды в Grafana с разными БД.
