Направление работы:
Наш проект - ключевая часть финтеха WB, самого крупного маркетплейса страны. Мы создаём банковские продукты, которыми ежедневно пользуются миллионы пользователи маркетплейса. Мы предлагаем тебе попробовать вместе с нами создавать новые сервисы, и работать над улучшением существующих в команде.
Сейчас мы активно растём и ищем в нашу команду сильного DevOps - инженера.
Стань частью команды!
Вам предстоит:
- Автоматизировать разворачивание инфраструктуры для DWH хранилища (Terraform, Ansible, Helm);
- Поддерживать работу DWH и Data Lake (ETL, оптимизация);
- Сопровождать DWH разработчиков (Airflow, Spark, Jupyter);
- Обеспечивать инфраструктурную базу для ML-моделей: поддерживать окружения для обучения и инференса, управлять ресурсами на кластерах с CPU и GPU);
- Интегрировать ML-сервисы с хранилищами данных;
- Управлять Kubernetes-кластером.
Формат работы - гибридный или удаленный по договоренности с руководителем.
Вы нам подходите, если:
- Имеете опыт работы с инструментами аналитиков и data-инженеров (ClearML, airflow, jupyter, spark) и с SQL-движками для больших данных (Hive, Trino);
-
У вас есть опыт построения DataLake house архитектуры (Iceberg, DeltaLake, Hudi);
-
Имеете опыт настройки архитектуры для ML (пайплайны данных, окружения для обучения и инференса, GPU-инфраструктура);
-
Умеете писать ansible-роли или terraform-манифесты, опыт работы с Minio / Ceph / S3;
-
Знаете Linux, имеете общие представления о работе kubernetes;
-
Имеете навык работы с Grafana и OpenSearch\Elasticsearch.
Стек, с которым мы работаем:
-
Kubernetes;
-
HashiCorp Vault;
-
GitLab;
-
Prometheus/Grafana;
-
Ansible / Terraform / Helm;
-
Apache Airflow, Spark, Jupyter, S3 Minio;
-
Hive, Trino, ClearML;
-
Kafka.
