Tech Lead Data Engineer

Обязанности:

• Проработка High Level Design процессов загрузки данных на платформу
• Выполнение Code review и контроль правильности реализации принятых технических решений
• Формирование требований, декомпозиция задач
• Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml)
• Выбор подходящих СУБД и моделирование схем данных под нагрузку в соответствии с функциональными требованиями систем потребителей данных
• Анализ и устранение причин production инцидентов
• Взаимодействие с смежными командами

Требования:

• Опыт разработки на Scala или Java в качестве Data Engineer (Spark или Flink) от 3-х лет
• Опыт работы по специальности от 5-ти лет
• Понимание принципов работы распределенных БД - Scylla/Cassandra, Kafka
• Знание алгоритмов и структур данных
• Знание SQL
• Опыт решения проблем в production при внедрении разработанных продуктов, включая performance tuning
• Готовность к командировкам

Будет плюсом:

• Опыт работы с Nifi, Airflow
• Опыт работы с распределенными БД: Cassandra, HBase, Opensearch и т.д.
• Опыт работы в Kubernetes окружениях
• Понимание особенностей архитектуры JVM
• Наличие опыта backend разработки

Что мы предлагаем:

Здоровье и спорт:

• ДМС + стоматология
• Корпоративные скидки в фитнес-клуб World Class
• Корпоративный тариф на абонементы FITMOST
• Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги)

Обучение и развитие:

• Курсы английского языка, в том числе с носителем языка
• Внешние курсы, сертифицированное обучение, которые вы выбираете сами
• Возможность участия в конференциях в России и за рубежом
• Экскурсии в Музей криптографии для сотрудников и их семей

Работа в удобном формате:

• Работа в офисе, удаленно или комбинированный формат