з/п не указана
Москва
От 3 до 6 лет
Международная компания, которая разрабатывает надежные и актуальные IT-решения для B2C и B2B сегмента развлекательной, игровой и спортивной тематики. Data Platform Team приглашает опытного разработчика решений процессинга больших объемов данных (объем 3PB+, прирост 1-2 PB/year).
Вакансия с релокацией на Кипр!
Чем предстоит заниматься:
- Проектирование процессов хранения и процессинга данных (batch, stream);
- Проектирование архитектуры реляционных и noSQL БД;
- Разработка ELT для различных источников (Kafka, ELK, HDFS, S3, JDBC, API), процессинга данных (очистка, расчет показателей, материализация), сохранения данных в S3/HDFS (parquet, iceberg), ClickHouse, StarRocks DB;
- Проектирование и создание структур хранения данных и витрин данных в PostgreSQL. Trino, StarRocks DB, ClickHouse для поддержки аналитической нагрузки с учетом требований к производительности и безопасности.
Что мы ищем в кандидате:
- Опыт работы от 2-х лет в области разработки pipeline процессинга на платформах больших данных;
- Понимание принципов работы кластерных решений и способов достижения требуемой производительности;
- Понимание назначения и различий форматов хранения данных;
- Знания SQL на высоком уровне (ClickHouse, PostgreSQL);
- Python (PySpark);
- Знание и опыт работы с Docker, Kubernetes (сборка образов, написание манифестов);
- SPARK.
Будет плюсом:
- Релевантный опыт разработки решений объемом от 100 TB с учетом аспектов отказоустойчивости, производительности, безопасности;
- Понимание архитектуры и практический опыт построения DWH (Inmon, Kimball, Data Vault, Data Lake. Delta Lake);
- Опыт работы с Presto, Trino, Star Rocks DB;
- Опыт работы с CI/CD (GitLab CI/CD, GitHub Actions);
- Опыт работы с Data Lakehouse форматами данных;
- Понимание способов оптимизации производительности СУБД на уровне конфигурации.
Что компания может предложить Вам:
- Помощь с релокацией на Кипр (Лимассол);
- Частичная компенсация аренды жилья;
- Компенсация перелета для кандидата и членов семьи;
- Аренда жилья на первый месяц работы;
- Юридическое сопровождение легализации на Кипре кандидату и родственникам;
- Гибкое начало рабочего дня;
- Частичная компенсация занятий английского языка и спортзала;
- Завтраки и обеды в офисе;
- Возможно дополнительное обучение, а также посещение профильных конференций;
- Оплачиваемые больничные и отпускные.
