з/п не указана
Москва
От 1 года до 3 лет
В группу сопровождения технологий BigData требуется администратор BigData.
Группа занимается администрированием распределенных систем hadoop, clickhouse, open sourse на linux с контейнеризацией, выстраивает процессы разработки пайплайнов для даталейка, обеспечивает масштабируемость кластеров и тиражирования.
Ваши задачи:
- Администрирование кластера Hadoop из 20 нод прод и 10 нод тест;
- Администрирование Clickhouse кластер open source (30нод);
- Диагностика и решение проблем совместимости библиотек spark, hive, hdfs, java приложений;
- Мониторинг Prometheus (Grafana);
- Сборка и поддержка Docker образов;
- Работа с Artifactory, Marathon, Kubernetes, AirFlow, Notebook Jupiter;
- Написание скриптов для мониторинга, деплоя и автоматизации процессов (bash, python, scala, ansible).
Мы ждем от будущих коллег:
- Администрирование: Hadoop3 Vanilla, Clickhouse, mesos-marathon, kubernetes, docker images, linux OEL, apache spark;
- Написание скриптов в bash, python, ansible, scala.
