Москва
Чем предстоит заниматься
- Поддерживать, развивать и мониторить существующие Hadoop кластера (у нас их несколько)
- Автоматизировать процедуры развертывания/обслуживания кластера
- Анализировать и устранять проблемы производительности различных компонент Hadoop кластера
- Планировать горизонтальный и вертикальный роста кластера
- Развивать инфраструктуру хранилища, экспериментировать с новыми системами сбора, хранения и анализа данных
- Помогать аналитикам и разработчикам в их ежедневной работе с Hadoop
Что для этого нужно
- Практические навыки администрирования Hadoop (Hive, HDFS, YARN, Kerberos + Sentry)Cloudera, Hortonworks, Apache Hadoop
- Глубокие знания Linux
- Любовь к автоматизации задач на скриптовых языках (shell/awk/sed, python)
- Опыт работы с системами мониторинга (Zabbix)
- Приветствуется знание Spark, Airflow, Kafka и инструментов аналитики