Data Engineer

Чем предстоит заниматься

• Разработка ETL/ELT-пайплайнов в Dagster с интеграцией dbt
• Создание и поддержка табличных моделей данных
• Проектирование мер (measures) и связей (relationships) между таблицами
• Настройка партиционирования для оптимизации производительности
• ​​​​​​​Настройка коннекторов для подключения к источникам данных (MS SQL, ClickHouse, PostgreSQL)
• Написание и оптимизация сложных запросов (CTE, оконные функции, подзапросы)
• Настройка индексов, чтение планов выполнения
• Настройка linked servers (MS SQL) для интеграции с внешними источниками
• Написание кастомных ресурсов для подключения к БД, API, S3
• Настройка инкрементальных загрузок и построение ежедневных витрин данных
• Работа с нестабильными источниками (API маркетплейсов, 1С, парсинг сайтов)
• Обработка данных из S3, FTP/SFTP, SMB-шар в форматах CSV, Parquet, JSON, XML
• Код-ревью, документирование, участие в архитектурных обсуждениях

Что для нас важно

• Опыт работы с AS (табличная модель) — обязательно
• Глубокое знание MS SQL
• Знание ClickHouse
• Знание PostgreSQL
• Уверенное знание Python (написание модульных тестов, работа с API, асинхронность, Django, FastAPI)
• Глубокое понимание Dagster (assets, resources, schedules/sensors)
• Опыт совместного использования dbt + Dagster (запуск dbt через ассеты, передача параметров)
• Владение Jinja на уровне написания макросов в dbt
• Опыт работы с S3 (boto3/s3fs)
• Умение подключаться к FTP/SFTP/SMB и обрабатывать файловые источники
• Понимание работы Docker (Docker Compose, настройка окружения)
• Навыки работы с GitLab (ветки, merge requests, разрешение конфликтов)

Ключевые навыки

• MS SQL, ClickHouse, PostgreSQL — (продвинутый уровень)

• AS (табличная модель) — создание моделей, мер, связей, настройка партиций

• Python (продвинутый уровень)

• Dagster (ассеты, кастомные ресурсы, сенсоры, интеграция с dbt)

• dbt (модели, Jinja-шаблонизация, инкрементальные стратегии, тесты)
• Docker / Docker Compose (сетевое взаимодействие, переменные окружения)
• S3-совместимые хранилища (boto3, s3fs)
• Интеграции: REST API, FTP/SFTP, SMB, файловые источники (CSV/Parquet/JSON/XML)
• Git / GitLab (MR, code review, ветвление)
• Jira (ведение задач, скрам-процессы)

Что мы предлагаем

• Оформление по ТК РФ
• График 5/2, офисный формат
• Рабочий день: 10:00-19:00
• Офис в 10 минутах ходьбы от м. Яхромская
• Бесплатные обеды в собственной столовой, чай, кофе
• Скидку на продукцию компании 35% и партнерские привилегии