ML Engineer

Мы Международная IT компания, имеющая аккредитацию в Сколково. Наши продукты - это мобильные приложения высокотехнологической нагруженности в сегменте онлайн-платформ, способствующих общению, созданию контента и установлению связей между людьми по всему миру.
В компании открыта вакансия активного и опытного ML Engineer

Требования:

• Опыт работы с высоконагруженными системами;
• Опыт построения стриминговых процессингов данных (pyspark);
• Опыт построения различных систем, связанных с ML/DS: чем разностороннее опыт, тем лучше;
• Умение строить и проверять статистические гипотезы, проводить AB-тесты;
• Умение писать production код (python 3.9+);
• Готовность погружаться в различные питон-сервисы для обработки данных;
• Опыт оптимизации и внедрения моделей в production;
• Понимание классических алгоритмов и структур данных;
• Самостоятельность и умение работать без ТЗ;

Будет плюсом:

• Опыт работы с нейросетевыми моделями для классификации и кластеризации изображений, видео, аудио и текстов (PyTorch);
• Опыт работы с инструментами AWS;
• Знание SQL;
• Опыт работы с ClickHouse;
• Знания в области system design;

Задачи:

• Сбор и подготовка данных для обучения моделей. Нужно будет из сырых данных пользовательского взаимодействия с контентом выгружать и формировать данные в нужном для обучения формате. Данные о user-item взаимодействии хранятся в ClickHouse.
• Разработка и поддержка питон-сервисов, необходимых для корректной работы ленты рекомендаций.
• Кластеризация и классификация видео, аудио, текстового контента. Разработка аудио, видео, текстовых эмбеддеров.
• Разработка высоконагруженной рекомендательной системы для видео ленты. Нужно будет реализованные модели внедрить в продакшн: сервисы, которые занимаются обучением, и сервисы, которые занимаю инференсом.
• Разработка собственной платформы для анализа АБ-тестов.
• Разработка и тестирование алгоритмов рекомендаций. Надо будет читать статьи, изучать SOTA подходы к рекомендательным системам, тестировать разные алгоритмы. Масштабироваться в продакшене.

Технологии:

• Пишем сервисы на python, go.
• Все крутится в AWS. Легкие сервисы разворачиваем в k8s-кластере, ML сервисы в AWS Sagemaker. Раскатываем через Gitlab CI. Используем линтеры.
• Пользовательские события отправляются сервисами на бэкенде в kafka. Для аналитики из кафки мы собираем все в ClickHouse, используя движок kafka в самом CH. Любое изменение схемы в БД версионируем через миграции. События из кафки вычитываем, аггрегируем и складываем в Redis (Используем Redis Stack, selfhosted).
• Для тестирования моделей используем jupyter notebook managed в sagemaker — можем поднять любой инстанс по требованию с нужными ресурсами (GPU, CPU, RAM).
• Мониторинг с помощью: prometheus, grafana, sentry, kibana.
• Продуктовые метрики и дашборды строим в Datalens.

Что мы готовы предложить:

• Опционная программа. У нас ты сможешь заработать миллионы $, а не просто получать Burn rate. Твои активы будут увеличиваться пропорционально капитализации компании. На что безусловно, ты сможешь повлиять с помощью продвижения продукта;
• Заработная плата в валюте, которая растет вместе с твоими достижениями;
• Удаленная работа и возможность релокации;
• Высокопрофессиональная команда, у которой есть чему учиться;
• Корпоративная техника, отвечающая твоим запросам;
• Регулярные неформальные встречи и драйвовые корпоративы.