Data Engineer

Чем Вы будете заниматься:

• разрабатывать интеграции с внешними и внутренними источниками данных для обеспечения бесперебойного обмена информацией и построения эффективных ETL-пайплайнов;
• проверять качество данных и регистрировать происхождения данных для обеспечения точности и прозрачности информации;
• настраивать системы мониторинга и поддерживать системы интеграции для обеспечения стабильной работы и развития инфраструктуры;
• писать, параметризировать и профилировать запросы к СУБД, а также создавать библиотеки и сервисы интеграции для оптимизации обработки данных;
• работать с современными технологиями, такими как Apache Airflow, Apache Kafka, Apache Nifi и Apache Spark, для обеспечения эффективной обработки и передачи данных;
• сотрудничать с IT-командой для разработки и внедрения новых решений в области Data Science, Data engineering и Big Data.

Мы ожидаем, что Вы:

• имеете опыт работы с инструментами интеграции и обработки данных, такими как Apache Nifi, Apache Airflow, Apache Kafka и Apache Spark не менее 2 лет;
• имеете хорошее знание Python и SQL для эффективной работы с данными;
• имеете опыт работы с Git и понимание подходов к обработке данных;
• знакомы с OLTP СУБД и умеете работать с распределёнными базами данных;
• имеете опыт разработки на Python и знание особенностей реализации алгоритмов обработки данных;
• имеете опыт работы в IT-команде и интерес к технологиям Data Science, Data engineering и Big Data;
• имеете профильное образование: информационные технологии, статистика, математика.

Будет плюсом:

• опыт работы с Apache Flink, Kafka Streaming, Debezium;
• знание Java, Groovy;
• опыт работы с распределёнными БД PostgreSQL, Oracle;
• понимание архитектуры стека Apache Spark, Apache Airflow, Apache Kafka;
• интерес к технологиям Data Science, Data engineering, Big Data.

Мы предлагаем:

• стабильность, на которую можем опираться. Официальное оформление в аккредитованной IT-компании, «белая» зарплата и ежегодная индексация, льготная ипотека и отсрочка от армии;
• рост без потолка. Оплачиваем курсы, тренинги и сертификации, отправляем на конференции и форумы. Поддерживаем во всём, что помогает расти;
• гибкий формат работы. Удалёнка или офис. Вы сами выбираете формат, в котором чувствуете себя продуктивнее — для нас важен результат, а не часы за столом;
• прозрачная мотивация. Ежеквартальные или годовые премии за результат — индивидуальный и командный;
• здоровье в приоритете. ДМС со стоматологией + доплата по больничному от 50 до 100 %;
• опции для родителей. Финансовая помощь при рождении ребёнка и 100 % оплата отпуска по беременности и родам;
• допы, которые радуют. Корпоративная мобильная связь, а ещё — скидки от наших партнёров: на технику, спорт, еду, обучение и не только. Маленькие бонусы, которые делают будни приятнее;
• атмосфера, которая заряжает. У нас не боятся пробовать новое, идеи обсуждаются на равных, а не спускаются сверху. Жёстких иерархий нет — есть свобода предлагать, менять процессы и влиять на то, что и как вы делаете.