Team Lead Data engineer /Feature store

Дата размещения вакансии: 09.12.2024
Работодатель: Spice Agency
Уровень зарплаты:
от 350000 до 500000 RUR
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

У меня есть вакансия в одну из крупнейших компаний в России.

Проект:
Feature store для ML. Команда будет отвечать за работу хранилища признаков для ML- модели. Сейчас мы в поиске опытного играющего тренера команды хранилища признаков для моделей машинного обучения, нам нужен человек с реальным опытом разработки и внедрения хранилища признаков (Python, Go, Scala, знание backend must have) на платформе больших данных (Big data стек), с использованием современного ML стека.

Команда:

Team Lead, data engineers, back and front developers, QA.

Чем предстоит заниматься:

· Управлять командой;

· Разработка, доработка, оптимизация и тестирование функционала инструмента, как услуги, Feature store и метадатакатолог (DataHub);

· Доработка, разработка REST API, GRPC, SDK (Python, Golang);

· Интеграция с инфраструктурными элементами аутентификации, хранилищем данных (hdfs), ml конвейером в целом;

· Внедрение новых фич, формирование бэклога развития инструментов;

· Оптимизация процессов хранения и обработки фичей, включая доработку механизмов загрузки данных;

· Разработка сервисов пакетной и потоковой обработки данных (ETL\ELT на Apache Spark, Apache Spark Structured streaming\Flink).

Что мы ожидаем от тебя:

· Профильное образование: информационные технологии, прикладная информатика, математика;

· Опыт коммерческой разработки от 5 лет;

· Опыт управления командой от 2-х лет;

· Опыт работы с Feast, Hopsworks, Tecton или аналогичные (Feature Store);

· Глубокое понимание API\GRPC.

Машинное обучение:

Понимание принципов работы моделей машинного обучения: работа с признаками (feature engineering), валидация данных, подготовка и трансформация данных.

Опыт работы с Big Data технологиями:

Уверенное владение инструментами обработки больших данных: Apache Spark, Hadoop, Apache Kafka, HDFS;

Знание фреймворков и библиотек для работы с распределенными вычислениями (Spark MLlib, Dask, Ray);

Опыт с системами потоковой обработки данных\streaming (Apache Flink, Kafka Streams, Flink SQL).

Будет плюсом:

Опыт с системами MLOps для автоматизации, мониторинга и управления моделями (например MLflow, Kubeflow).

Что готовы предложить:

  • Оформление по ТК РФ: оклад (готовы обсуждать)+ годовой бонус;
  • Компания входит в реестр ИТ компаний;
  • Удаленный формат работы. При желании можно работать в офисе класса А
  • ДМС со стоматологией (с 1 рабочего дня + полис путешественника);
  • Частичная компенсация фитнеса / обучения / доп. мед. услуг (лимит-25 тыс. рублей в год).

Как мы проводим собеседования:

  1. 15-20 минут - общение с рекрутером (tg аудио);
  2. 90 минут - техническое интервью;
  3. 45 минут - финальная встреча;
  4. СБ, 1-3 дня;
  5. Оффер, обсуждение даты выхода на работу.

По всем вопросам пишите мне в тг: @aines_hr