Мы ищем инженера с экспертизой в платформе Airflow, способного и желающего разбираться в нетривиальных задачах обработки данных Финансовой платформы и готового погружаться в природу этих данных.
Что предстоит делать
-
Развитие и улучшение системы обработки данных, построенной на основе платформы Airflow, с упором на обеспечение ключевых нефункциональные требований
-
Обеспечение отказоустойчивости системы
-
Обеспечение корректного поведения системы при исчерпании вычислительных ресурсов
-
Реализация решений по автоматическому масштабированию рабочих узлов
-
Повышение степени автономности системы, в т.ч. автоматический DR
-
Поддержка пользовательских систем с программной точки зрения:
-
выявление и вынесение в общее пользование стандартных и/или типовых решений на уровне модулей и функций
-
определение и внедрение лучших практик для решения пользовательских задач на уровнях кода DAG и также пользовательского кода на ЯП Python
-
Совместная работа с клиентами платформы, вовлечение в задачи пользователей с целью рационализации принимаемых инженерных решений.
Навыки
-
Экспертиза по настройке/поддержке/использованию платформы Airflow
-
Хорошие знания k8s или аналогичного решения контейнеризации
-
Хорошие знания ЯП Python
-
Высокий уровень общей инженерной культуры: понимание SDLC и CI/CD
Условия
- полностью дистанционный формат работы, а при желании — гибрид или офис;
- возможность выбора оборудования;
- доплата по больничным;
- широкие возможности по обучению и повышению компетенций за счет внутренней IT-академии, внешних курсов и профессиональных конференций;
- активные внутренние IT-сообщества;
- отличный социальный пакет: ДМС с первого месяца со стоматологией и массажем, страхование выезжающих за рубеж, скидки на корпоративные продукты, тренажерный зал в офисе.
