Big Data Engineer

Крупная продуктовая IT-компания находится в поисках опытного Big Data Engineer для разработки решений процессинга больших объемов данных (объем 3+ PB, прирост 1+ PB/year) в составе команды Data Platform Team.

Задачи:

• Проектирование процессов хранения и процессинга данных (batch, stream);
• Проектирование архитектуры реляционных и noSQL БД;
• Разработка ELT для различных источников (Kafka, ELK, HDFS, S3, JDBC, API), процессинга данных (очистка, расчет показателей, материализация), сохранения данных в S3/HDFS (parquet, iceberg), ClickHouse, StarRocks DB;
• Проектирование и создание структур хранения данных и витрин данных в PostgreSQL. Trino, StarRocks DB, ClickHouse для поддержки аналитической нагрузки с учетом требований к производительности и безопасности.

Обязательные требования:

• Опыт работы от 2-х лет в области разработки pipeline процессинга на платформах больших данных;
• Понимание принципов работы кластерных решений и способов достижения требуемой производительности;
• Понимание назначения и различий форматов хранения данных;
• Знания SQL на высоком уровне (ClickHouse, PostgreSQL);
• Знание Python (PySpark);
• Знания и опыт работы с Docker, Kubernetes (сборка образов, написание манифестов);
• SPARK;

Будет большим преимуществом:

• Релевантный опыт разработки решений объемом от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности;
• Понимание архитектуры и практический опыт построения DWH (Inmon, Kimball, Data Vault, Data Lake, Delta Lake);
• Опыт работы с Presto, Trino, Star Rocks DB;
• Опыт работы с CI/CD (GitLab CI/CD, GitHub Actions);
• Опыт работы с Data Lakehouse форматами данных;
• Опыт разработки с использованием Flink.

Условия, предоствляемые с нашей стороны:

• Полный релокационный пакет при переезде на Кипр, в Лимасол;
• Помощь в поиске постоянного жилья на Кипре сотрудниками нашего hospitality отдела;
• Оформление разрешения на работу для вас и ВНЖ для членов вашей семьи;
• Возможность брать беспроцентную ссуду у компании в случае крупных покупок;
• Гибкий рабочий график;
• Творческая атмосфера в коллективе;
• Завтраки и обеды в офисе - за счет компании;

• Бонусы по результатам работы и годовой бонус по итогам работы за год;

• Компенсация профессионального образования и уроков английского;

• Достойный доход, соответствующий вашей квалификации;

• Прекрасные корпоративные мероприятия с большим размахом;

• Широкие возможности роста и развития.