Senior Data Engineer (Удаленно)

Мы Международная IT компания, имеющая аккредитацию в Сколково. Наши продукты - это мобильные приложения высокотехнологической нагруженности в сегменте онлайн-платформ, способствующих общению, созданию контента и установлению связей между людьми по всему миру.
В данный момент у нас открыта вакансия Senior Data Engineer.

Основные задачи:

• Разработка и оптимизация архитектуры облачного хранилища данных (Data Lake + Data Warehouse);
• Написание ETL/ELT пайплайнов обработки данных;
• Создание и поддержка витрин данных;
• Развитие инструментов контроля и поддержания качества данных (data quality / data governance).

Что мы ждем:

• Отличные знания SQL: оптимизация запросов, понимание планов запроса, внутренней работы SQL (оптимизация запросов, join, типы индексов и тд);
• Уверенное знание Python: написание API (Django, fastAPI), алерт-ботов, небольших скриптов и сервисов;
• Понимание ETL-оркестраторов: Airflow, Dagster (dbt);
• Понимание концепции (звезда, Data Mesh, Data Vault) хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality;
• Знание инфраструктурных инструментов: Docker, bash, git, CI/CD, kubernetes, grafana, sentry;
• Опыт работы с clickhouse.

Необязательно, но хорошо если:

• Работал с hadoop, spark;
• Есть навык писать сервисы с нуля;
• Есть опыт проектирование архитектуры DWH;
• Есть опыт работы с сервисами AWS Amazon.

Условия:

• GPU/CPU сервера в облаке;
• Полностью удаленная работа, из любой точки мира;
• Мощное корпоративное железо, которое мы выдаем каждому сотруднику;
• Возможность окунуться в современный мир web3 технологий;
• Здоровая корпоративная культура;
• Развитая система адаптации и онбординга новых сотрудников;
• Регулярные неформальные встречи и драйвовые корпоративы;
• Гибкий график.