Мы обрабатываем большие объёмы данных, и нам нужно делать это быстро и точно. Для этого мы создаём масштабную, безопасную и удобную аналитическую платформу. Нам требуются дата-инженеры для разработки DWH.
Какие задачи вас ждут
Доработка внутренней платформы
Вы будете развивать внутреннюю платформу управления данными: автоматизировать рутинные задачи, такие как деплой простых решений и мониторинг, а также улучшать инструменты самообслуживания для аналитиков. Вам предстоит работать с Kafka, ClickHouse, Spark Streaming и внутренними инструментами разработки.
Разработка и поддержка витрин данных
Вы будете разрабатывать, оптимизировать и поддерживать витрины данных, исходя из требований бизнеса и аналитиков. Это включает проектирование структуры данных, реализацию ETL-пайплайнов с использованием Python, Spark, Greenplum и Airflow, а также обеспечение их эффективной работы. Вам предстоит решать задачи разного уровня сложности — от простых трансформаций до обработки больших объёмов данных с нетривиальной бизнес-логикой.
Оптимизация ETL-процессов
Вам предстоит оптимизировать ETL-процессы, чтобы повысить производительность и снизить затраты. Нужно проанализировать и устранить проблемы, такие как перекос данных в Greenplum, долгие джобы и неэффективные партиции, а также настроить распределение ресурсов в кластере.
Мониторинг качества данных
Вы будете разрабатывать и поддерживать систему мониторинга качества данных, включая DQ-проверки и алерты на аномалии. Также вам предстоит анализировать и устранять сбои в поставке данных, такие как пробелы, дубли и некорректные значения. Кроме того, вы будете взаимодействовать с аналитиками и бизнес-пользователями, чтобы повысить прозрачность поставки данных.
Мы ждем, что вы
- Пишете код на Python
- Работали с базами данных SQL и NoSQL
- Знакомы с брокерами сообщений (Kafka, RabbitMQ или чем-то подобным)
- Работали с инструментами Hadoop
Будет плюсом, если вы
- Работали со Spark или Spark SQL
- Работали с Greenplum
- Умеете разрабатывать DAG для Airflow
Что мы предлагаем
- Сильную команду, с которой можно расти
- Сложные задачи для сервисов с миллионами пользователей
- Возможность влиять на процесс и результат
- Зарплату на уровне рынка и выше
- Премии каждые полгода за эффективную работу
- Ипотечные программы: под 3% на 10 лет или без процентов на три года
- Компенсацию оплаты питания
- Расширенную программу ДМС: оплату 80% стоимости ДМС для супругов и детей
- Спортзал, тренажёрный зал, йогу в офисе
- Гибкий график работы
- Парковку
- иногородним помогаем с переездом.
