О проекте
Ищем Data Engineer в команду, которая строит и развивает платформу данных: от сбора и обработки до хранения и предоставления данных для аналитики, продуктовых команд и ML. Важно не просто писать запросы, а проектировать надёжные пайплайны с учётом SLA, качества данных и стоимости.
Задачи
• Проектировать и развивать ETL/ELT-пайплайны (batch и/или streaming);
• Интегрировать данные из различных источников (БД, API, файлы, стримы);
• Развивать слой хранения (DWH / Data Lake / Lakehouse, витрины данных);
• Обеспечивать качество данных (валидации, мониторинг, алерты, SLA);
• Оптимизировать производительность пайплайнов и запросов;
• Работать с оркестрацией (Airflow или аналоги);
• Обрабатывать ошибки и обеспечивать надёжность пайплайнов;
• Взаимодействовать с аналитиками, ML и продуктом.
Требования
Обязательно:
• Уверенный коммерческий опыт Data Engineering от 4х лет;
• Сильный Python;
• Глубокий SQL (сложные запросы, оптимизация);
• Опыт разработки ETL/ELT-пайплайнов;
• Понимание data modeling (DWH / витрины);
• Опыт с инструментами оркестрации (Airflow или аналоги);
• Опыт работы с аналитическими БД;
• Базовые практики разработки (Git, Docker, тестирование);
• Понимание SLA, качества данных и обработки ошибок.
Будет плюсом:
• Опыт со streaming (Kafka и др.);
• Spark / Big Data инструменты;
• dbt;
• Data Quality инструменты (Great Expectations и др.);
• Опыт построения Data Platform / Lakehouse;
• Облачные платформы (AWS / GCP / Azure).
Этапы:
• Скрининг (30 минут);
• Техническое интервью (1 час 30 минут).
Условия:
• Работа в динамичной IT-компании;
• Возможности для роста в Data Engineering;
• Дружная команда;
• Конкурентная зарплата;
• Гибкий график и удалённая работа;
• Интересные задачи с большими данными.
———————————————————
Пожалуйста, прикрепите к отклику скрининг по требованиям: отметьте плюсы напротив навыков, которыми вы владеете, и минусы – напротив тех, которых у вас нет. Это поможет улучшить и ускорить рассмотрение отклика.
Например:
• Уверенный коммерческий опыт Data Engineering от 4х лет; +
• Сильный Python; +
• Глубокий SQL (сложные запросы, оптимизация); + и тд.
