з/п не указана
Москва
От 3 до 6 лет
Задачи, которые мы предлагаем:
Spark:
- Развертывание, настройка кластеров Spark и управление ими
- Оптимизация производительности кластера и использования ресурсов
- Общение с командой разработки ML
- Внедрение решений для мониторинга и ведения логов для кластера Spark
- Оптимизации Spark и настройки производительности
API Gateway:
- Установка и настройка API Gateway (например, NGINX, Kong, Apigee)
- Настройка маршрутизации, балансировки нагрузки и управления API
Развертывание БД:
- Развертывание и настройка реляционных (например, PostgreSQL, MySQL) или NoSQL баз данных (например, MongoDB, Cassandra)
- Обеспечение резервного копирования, восстановления и репликации данных
Kafka:
- Установка и настройка Apache Kafka
- Настройка кластеров Kafka, брокеров, тем и клиентов
- Обеспечение отказоустойчивости и мониторинга Kafka
Модули мониторинга и логирования:
- Внедрение и настройка инструментов мониторинга (например, Prometheus, Grafana, ELK Stack)
- Настройка алертинга и мониторинга производительности систем и приложений
Знания и навыки, которые для нас важны:
- Опыт развертывания и управления кластерами Spark.
- Уверенные знания одного из менеджеров кластеров Spark (YARN, Mesos).
- Автоматизация процесса развертывания и оптимизация CI/CD.
- Знание одного из инструментов создания сценариев и автоматизации (Ansible, Terraform, Jenkins).
- Опыт работы с технологиями контейнеризации (Docker, Kubernetes).
Будет плюсом:
- Опыт работы с PySpark, Scala.
- Понимание принципов сетевой безопасности и лучших практик.
- Опыт работы в Agile/Scrum командах.
- Способность решать сложные технические задачи и быстро осваивать новые технологии.
- Опыт работы в области инфраструктуры ML и инженерии данных.
