Data Engineer

Обязанности:

• Настройка интеграций с источниками данных;
• Организация и поддержка работы каталога данных;
• Поддержка и помощь в работе с хранилищем данных;
• Взаимодействие с командами разработки и аналитики.

Ожидания от кандидата:

• Опыт работы с Apache Airflow в корпоративной среде:
  - настройка и управление пайплайнами данных;
  - опыт разработки DAG на Python для автоматизации ETL процессов;
  - оптимизация и мониторинг выполнения DAG-ов;
• ​Опыт самостоятельной разработка ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных;
• Понимание принципов и опыт работы с каталогами данных;
• Навыки работы с DBT (Data Build Tool):
  - разработка и поддержка моделей данных с использованием DBT;
  - интеграция DBT в пайплайны данных для трансформации данных;
  - понимание процессов версионирования моделей данных;
• Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming);
• Опыт работы с Kafka: развертывание (желательно), настройка/оптимизация/масштабирование (обязательно);
• Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих;
• Опыт работы с реляционными базами данных (PostgreSQL, MSSQL);
• Опыт работы с облачными платформами (Yandex.Cloud);
• Навыки работы с системами контроля версий (Git);

Настройка CI/CD для дата-процессов (желательно).

Условия:

• Оформление по ТК РФ;
• Полностью удаленный формат работы;
• 100% оплата больничного;
• Работа в аккредитованной IT компании.