Обязанности:
- Сопровождение и развитие S3-центричного аналитического хранилища данных для функции DataScience банка. Основной инструмент обработки данных - Apache Spark (используется диалект PySpark).
- Разработка процессов жизненного цикла моделей машинного обучения. Продолжение имеющихся наработок в направлении AutoML.
- Создание инструментария для команды в составе DS и DE.
- Мониторинг сервисов и инфраструктуры, контроль за выполнением SLA,масштабирование, решение возникающих проблем.
- Управление инстансом Airflow. Написание под него кастомного функционала.
- Управление инстансом MlFlow.
- Управление инстансом GitLab. Написание пайплайнов GitLab CI/CD.
- Аналитический контур развернут полностью в облаке Яндекс, соответственно все вышеперечисленное построено на базе предоставляемых облаком сервисов.
- Управление интеграциями между облаком Яндекс и on-premise инфраструктурой банка.
Требования:
- Понимание принципов работы с облачными сервисами и умение выстраивать процессы на их основе. Плюсом будет опыт работы с облаком Яндекс.
- Понимание жизненного цикла моделей машинного обучения.
- Понимание принципов построения сетей, навыки настройки базовой маршрутизации и управления безопасностью.
- Опыт написания кода на Python.
- Опыт работы со следующим инструментарием: Yandex Cloud, Airflow,GitLab, Terraform, Spark (PySpark), S3, Delta Lake, MLFlow, Kafka.
Технологический стек:
Yandex Cloud, Airflow, GitLab, Terraform, Spark (PySpark), S3, Delta Lake, Python, MLFlow, Kafka.
Мы предлагаем:
• Профессиональный рост: HR-департамент разрабатывает и проводит обучающие программы для сотрудников. Кроме того, мы часто организуем профессиональные конференции и митапы, обмениваемся опытом с другими командами разработки.
• Официальную заработную плату дважды в месяц, полное соблюдение ТК РФ.
• Удаленный формат работы.
• ДМС, оплата детского сада. Наши сотрудники имеют возможность оформить льготные кредиты и ипотеку.
• Увлекательную корпоративную жизнь: конкурсы, спортивные мероприятия, и многое другое.
• Режим работы: пятидневную рабочую неделю с 08:30 до 17:30 (может корректироваться по согласованию с руководителем).
