Нашему Партнёру, российскому проекту, специализирующемуся на разработке масштабируемых решений для распределенных систем в энтерпрайзе, в связи с ростом команды требуется:
Data Engineer
Мы ищем опытного Data Engineer, который обладает глубокими знаниями и навыками в области обработки данных с использованием экосистемы Hadoop и смежных технологий. Кандидат будет отвечать за разработку, миграцию и поддержку приложений, а также обеспечивать безопасную и эффективную работы с большими объемами данных.
О проекте: организация экспертов по данным, специализирующаяся на разработке масштабируемых решений для распределенных систем. Мы сотрудничаем с клиентами из различных отраслей, в том числе:
- компании-разработчики программного обеспечения,
- банки и финансовые организации,
- телекоммуникации,
- розничная торговля и
- дистрибьюторы.
Чем Вы будете заниматься:
-
Разработка и поддержка приложений для пакетной и потоковой обработки данных с использованием технологий Hadoop, Spark, Impala, Trino, Flink, Airflow и Ozone.
-
Миграция и адаптация приложений для работы с различными версиями и компонентами, например, между Impala и Trino, между разными версиями Spark
-
Работа с DWH и Data Lake, включая проектирование схем данных, оптимизацию запросов и обеспечение высокой производительности.
-
Понимание принципов безопасной работы с данными, включая аутентификацию и авторизацию с использованием Kerberos и Ranger, обеспечение конфиденциальности и целостности информации.
-
Проведение анализа производительности системы и оптимизация процессов обработки данных для обеспечения высокой скорости и эффективности работы.
Что мы хотим в Вас видеть:
-
Опыт работы на позиции Data Engineer от 3-х лет.
-
Опыт работы с экосистемой Hadoop и связанными технологиями, такими как Spark, Impala, Trino, Flink, Airflow и Ozone.
-
Глубокое понимание принципов пакетной и потоковой обработки данных.
-
Знание основных концепций Data Warehouse, Data Lake и Lake House.
-
Понимание принципов безопасной работы с данными, включая использование Kerberos и Ranger.
-
Умение мигрировать и адаптировать приложения для работы с различными версиями и компонентами.
-
Отличные аналитические и проблемно-ориентированные навыки.
-
Коммуникабельность и способность работать в команде.
Что мы предлагаем:
- Оформление в аккредитованную IT-компанию по ТК РФ.
- Удалённый формат работы.
- Возможность при желании работать из офиса в Санкт-Петербурге (район метро «Московские ворота»)
