Senior Hadoop Engineer

Обязанности:

• Проектирование, внедрение и поддержка крупномасштабных Hadoop-кластеров.
• Оптимизация производительности и масштабирование Hadoop-экосистемы.
• Обеспечение безопасности и управление доступом к данным в Hadoop-среде.
• Интеграция Hadoop с другими системами и источниками данных.
• Экспертная поддержка, настройка и мониторинг существующих Hadoop кластеров.
• Решение сложных вопросов при эксплуатации Hadoop, устранение аварий и сбоев.

Требования:

• Глубокое знание архитектуры Hadoop и его ключевых компонентов:
  - HDFS (Hadoop Distributed File System)
  - YARN (Yet Another Resource Negotiator)
  - Hive
  - Tez
  - HBase
  - Knox
  - Ranger
  - Livy
  - Kyuubi
• Опыт работы с Apache Hadoop версии 3.3 и выше, включая настройку и оптимизацию YARN и Timeline Service v2.3.
• Уверенное владение инструментами экосистемы Hadoop:
  - Настройка и администрирование HBase
  - Конфигурация и управление Knox для обеспечения безопасного доступа
  - Использование Ranger для управления политиками безопасности и аудита
  - Работа с Livy для взаимодействия с Apache Spark
  - Настройка и оптимизация Kyuubi для обеспечения многопользовательского доступа к Spark
• Опыт работы с распределенными системами хранения и обработки данных.
• Знание и опыт применения Proxy для балансировки нагрузки в Hadoop-кластерах.
• Глубокое знание JVM, включая настройку производительности, управление памятью и отладку.
• Опыт внедрения и настройки Single Sign-On (SSO) решений в среде Hadoop.
• Опыт работы с системами управления версиями (например, Git) и инструментами непрерывной интеграции/доставки (CI/CD).
• Понимание принципов безопасности данных и опыт их реализации в среде Hadoop.
• Способность диагностировать и решать сложные проблемы производительности в распределенных системах.
• Опыт работы с Puppet/Ansible для автоматизации настройки и управления инфраструктурой Hadoop.
• Уверенное владение bash-скриптингом для автоматизации задач и управления системами Linux.

Условия:

• Сильная команда, с которой можно расти
• Петабайты данных и огромные мощности для их переваривания
• Сложные, нетривиальные задачи для маркетплейса с миллионами пользователей
• Возможность влиять на процесс и результат
• ДМС со стоматологией
• Гибкий график работы, гибридный и удаленный тоже рассматривается
• Достойная зарплата
• MacBook or Windows ноутбук