SRE инженер Hadoop (сопровождение аналитических систем)

Дата размещения вакансии: 01.12.2025
Работодатель: Честный знак.рф
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 3 до 6 лет

О компании:

Мы создаем единую систему цифровой маркировки и прослеживания товаров в России и странах ЕАЭС. Наша система позволяет снизить уровень контрафакта и гарантировать подлинность товаров, производимых в стране или ввозимых в нее.

Честный Знак - одна из самых высоконагруженных платформ, которой нет аналогов:

— микросервисная архитектура на Kubernetes с Istio в нашей собственной инфраструктуре;

— петабайты живых данных, с которыми круглосуточно работают наши сервисы и клиенты через API;

— миллиарды транзакций в день и десятки тысяч запросов в секунду;

— аналитика в реальном времени на потоках событий и масштабная батчевая аналитика по ночам;

— мобильное приложение с 27+ миллионов установок;

— десятки релизов в продакшн каждый день, feature flags, инфраструктура как код.

Под капотом — Kafka, Cassandra, Spark, Airflow, Iceberg, ClickHouse, GitLab CI/CD, Helm, Prometheus, Grafana.

Мы не боимся сложных задач и запускаем в продакшн смелые инженерные идеи!

О команде:

Мы, команда SRE и DataOps-инженеров, сопровождаем аналитические системы ЧЗ, у которых ядром данных выступает «Аналитическая платформа».

Она построена в экосистеме Hadoop – ключевое в нем это HDFS, YARN, Spark, Ranger, Iceberg; Оркестратором ETL выступает Airflow, хранилище меты и справочников в PostgreSQL, а хранилище конечных агрегатов в Clickhouse; Брокером сообщений у нас работает Kafka, большинство приложений разворачиваем в k8s, а меньшинство – standalone.

У нас много работы - как операционной, так и исследовательской. Немало вызовов, с которыми мы сталкиваемся в повседневной работе, никто не решал до нас. Но это не значит мы только тушим пожары, вовсе нет – мы хранители прода и исследователи неизведанного одновременно.

Чем предстоит заниматься:

  • Поддержкой и развитием инфраструктуры аналитической платформы, которая включает Hadoop, HBase и Kubernetes.
  • Ведущая роль в организации работы и координации двух SRE уровня middle в вашей команде.
  • Разработка и внедрение механизмов мониторинга, алертинга и логирования для обеспечения высокой доступности и производительности платформы.
  • Оптимизация процессов автоматизации развертывания, обновлений и масштабирования сервисов в Kubernetes.
  • Устранение неисправностей и проведение RCA.
  • Взаимодействие с командами разработки и эксплуатации для улучшения качества обслуживания и стабильности платформы.
  • Обеспечение отказоустойчивости системы и подготовка к масштабированию в условиях растущих объемов данных.

От успешного кандидата мы ожидаем:

  • Опыт работы с Kubernetes (k8s), включая настройку кластеров и управление контейнерами.
  • Знания в области работы с распределенными системами, такими как HDFS, YARN, HBase, Kafka.
  • Опыт работы с S3 системами хранения данных, такими как MinIO, Ceph или аналогичные.
  • Умение работать с мониторингом на стеке VictoriaMetrics, логированием и алертингом в высоконагруженных системах.
  • Умение писать скрипты на Python, Bash или Go для автоматизации процессов.
  • Опыт работы с инструментами CI/CD (например, Gitlab, Nexus).
  • Знание принципов обеспечения отказоустойчивости распределенных систем.
  • Опыт руководства или наставничества, готовность брать на себя ответственность за координацию и поддержку работы команды.

Будет преимуществом:

  • Опыт работы с другими инструментами для аналитики и больших данных (например Spark, Iceberg).
  • Опыт работы с инструментами для автоматического развертывания инфраструктуры (например Ansible, Salt).

Почему именно мы:

Возможности для развития

  • Участие в митапах и конференциях: делимся знаниями и учимся у других.
  • Внутренние корпоративные тренинги.
  • Buddy-поддержка: путеводитель в корпоративную жизнь компании.

Заботимся о сотрудниках

  • Здоровье: ДМС (включая стоматологию) после испытательного срока, 100% оплата больничных (до 14 дней в год), полис путешественника, корпоративные психологи.
  • Материальная помощь в сложных жизненных ситуациях.
  • Кафетерий льгот: не только на спорт и обучение, но и ИТ-сервисы, расширение ДМС для семьи.

Удобство и комфорт

  • Оформление по ТК РФ в аккредитованной ИТ-компании.
  • Работай удаленно из любой точки, в гибридном формате или из офиса в центре Москвы/Петербурга (рядом с метро).
  • Гибкое начало рабочего дня.
  • Выдаем рабочую технику: ноутбук, монитор, гарнитура — всё для продуктивной работы.

Жизнь в компании

  • Открытая культура общения.
  • Спорт: футбол, волейбол, йога — вариантов много, выбирай или создай свое комьюнити!
  • Воркшопы, праздники для детей, книжный клуб — скучно не будет.
  • Стильный мерч, который хочется носить.
  • Реферальная программа: приводи друзей и получай бонусы.

Если ты хочешь расти профессионально, работать с классными людьми и при этом чувствовать заботу — ждем в нашей команде!