Senior Big Data Infrastructure Engineer

В команду платформы данных ищем Senior Big Data Infrastructure Engineer.

Команда отвечает за проектирование, развитие и эксплуатацию централизованных инструментов хранения и обработки данных (Data Platform, Lakehouse, Trino, Iceberg, S3) для всех команд компании. Платформа строится с нуля, включает не только data-компоненты, но и ML-инструментарий и внутренние сервисы для data-инженеров и аналитиков.

Основные задачи:

• Участие в построении, проектировании, эксплуатации и развитии Big Data-инфраструктуры.
• Построение in-house дистрибутивов для инфраструктуры хранения данных (S3, HDFS) и обработки данных (Spark, Flink, Trino).
• Автоматизация конфигурирования и развертывания Big Data-инфраструктуры.
• Разработка и внедрение средств защиты информации в Big Data-инфраструктуре.
• Внедрение лучших практик по использованию инфраструктуры Big Data.

Требования

• Опыт проектирования, внедрения и эксплуатации Big Data-платформ от 5 лет.
• Глубокое понимание архитектуры распределённых систем хранения и обработки данных.
• Практический опыт работы с HDFS, S3, Apache Spark, Apache Flink, Trino.
• Опыт разработки и сопровождения платформенных решений на базе open source-продуктов.
• Опыт автоматизации развертывания и управления инфраструктурой (Terraform, Ansible, Kubernetes).
• Уверенные знания Linux, сетевых технологий и принципов построения отказоустойчивых систем.
• Опыт внедрения и эксплуатации механизмов информационной безопасности в инфраструктурных решениях.
• Навыки разработки на Python, Java или Scala.
• Опыт внедрения лучших практик эксплуатации, мониторинга и развития Data Platform.