DevOps Engineer

Обязанности:

• Spark:
  * Развертывание и настройка кластеров Spark, а также управление ими.
  * Оптимизация производительности и использования ресурсов кластера.
  * Взаимодействие с командой разработчиков машинного обучения (ML).
  * Внедрение решений для мониторинга и ведения логов кластера Spark.
  * Оптимизация работы Spark и настройка производительности.
• API Gateway:
  * Установка и настройка API Gateway, например, NGINX, Kong или Apigee.
  * Настройка маршрутизации, балансировки нагрузки и управления API.
• Развертывание БД:
  * Развёртывание и настройка реляционных баз данных, таких как PostgreSQL или MySQL, а также NoSQL баз данных, например, MongoDB или Cassandra.
  * Обеспечение резервного копирования, восстановления и репликации данных.
• Kafka:
  * Установка и настройка Apache Kafka.
  * Настройка кластеров Kafka, брокеров, тем и клиентов.
  * Обеспечение отказоустойчивости и мониторинга Kafka.
• Модули мониторинга и логирования:
  * Внедрение и настройка инструментов мониторинга, таких как Prometheus, Grafana или ELK Stack.
  * Настройка алертинга и мониторинга производительности систем и приложений.

Требования:

• Опыт развёртывания и управления кластерами Spark.
• Уверенные знания одного из менеджеров кластеров Spark, таких как YARN или Mesos.
• Автоматизация процесса развёртывания и оптимизация CI/CD.
• Знание одного из инструментов создания сценариев и автоматизации, например, Ansible, Terraform или Jenkins.
• Опыт работы с технологиями контейнеризации, такими как Docker или Kubernetes.
• Опыт работы в Agile/Scrum командах.
• Способность решать сложные технические задачи и быстро осваивать новые технологии.
• Понимание принципов сетевой безопасности и лучших практик.

Условия:

• Высокую заработную плату, обсуждаем индивидуально;
• Удаленную работу;
• Работа с интересными проектами и постоянное развитие;
• Мы всегда поддерживаем инициативы и творческий подход наших сотрудников;
• Дружный коллектив.