Data Engineer (Дата Инженер)

Продуктовая IT компания, работающая в сфере iGaming, ищет в свою команду Data Engineer.

Обязанности:

• Разрабатывать и поддерживать ETL/ELT пайплайны для обработки данных из PostgreSQL, MongoDB, ClickHouse.
• Выполнять интеграцию источников данных в Data Lakehouse.
• Оптимизировать процессы загрузки и обработки данных.
• Работать с потоками данных через Kafka и обработкой в Spark.
• Анализировать текущие пайплайны и внедрять улучшения.
• Интегрировать данные между Data Lakehouse и BI-системой.
• Оптимизировать аналитические запросы для визуализации отчетов и дашбордов.

Требования:

• Уверенное владение PostgreSQL, ClickHouse.
• Знание Python и использование опыта в задачах обработки данных.
• Опыт работы с инструментами оркестрации (Airflow, NiFi).
• Знание Apache Spark, Kafka.
• Навыки аудита и оптимизации ETL-процессов.

Нам важно:

• 2+ года опыта работы с большими данными.
• Реализация интеграции с реляционными и NoSQL базами.
• Опыт работы с ClickHouse для аналитических запросов.
• Опыт работы с DBT и Trino. Знание инструментов CDC (Debezium, Kafka Connect).
• Опыт построения Lakehouse через анализ и улучшение текущих подходов.

Условия:

• Удаленный формат работы, 8-ми часовой рабочий день, гибкое начало дня;
• 100% оплачиваемый отпуск, больничный + дополнительные day-offs;
• Возможность работать из любой точки мира;
• Годовой бонус по результатам работы;
• Дружная команда;
• Перспектива профессионального роста и развития.