BGStaff IT Recruitment Agency – кадровое IT-агентство. С 2016 года наша команда помогает компаниям находить идеальных IT-специалистов для работы в России и за границей.
Наша команда успешно работает как удаленный и сплоченный хаб талантов. Мы будем рады принять тебя в атмосферу нашей команды, где ценят системный подход, взаимоподдержку и результат. Мы уважаем амбициозных, вдумчивых, клиентоориентированных и нестандартно мыслящих специалистов.
Наша миссия: Соединять лучшие IT-таланты с теми, кто создает технологии будущего, становясь надежным стратегическим партнером для наших клиентов.
Обязанности:
- Анализ источников данных в легаси БД MSSQL: сбор информации о наполнении, выявление ключевых бизнес-сущностей и зависимостей, регламентных операций;
- Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище;
- Разработка и поддержка моделей данных;
- Организация и автоматизация процессов оркестрации с Airflow: запуск, мониторинг, алерты, управление зависимостями тасок и дагов;
- Обеспечение качества, тестирование данных и их целостности при миграции и трансформации;
- Внедрение и сопровождение процессов инкрементальной загрузки и оптимизации производительности;
- Работа с потоками данных и интеграция с Kafka для обмена и передачи событий в реальном времени.
Требования:
-
Опыт работы с данными;
-
Глубокое понимание реляционных БД: структура данных, методы загрузки и управления;
-
Навыки разработки и оптимизации сложных SQL-запросов, включая использование оконных функций, CTE и маппингов между БД;
-
Умение проектировать и создавать модели данных, ориентированные на аналитические задачи и эффективное функционирование DWH;
-
Знание принципов нормализации и денормализации, типов схем (звезда, снежинка) и их правильное применение;
-
Способность строить стабильные и масштабируемые модели данных с учётом особенностей источников и целевых систем;
-
Владение методологиями Data Vault и другими современными подходами для обеспечения прозрачности, истории изменений и восстановления данных;
-
Опыт в документировании моделей и обеспечении их совместимости с процессами ETL/ELT и бизнес-метриками;
-
Способность управлять изменениями моделей при росте объёмов данных и корректировках аналитических требований;
-
Навыки создания и поддержки ETL/ELT конвейеров;
-
Опыт оркестрации процессов средствами Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач;
-
Понимание методологии и практик DataOps для версионирования моделей, тестирования, мониторинга и безопасного разворачивания;
- Владение навыками документирования процессов и работы с технической документацией;
Практический опыт работы с технологиями:
-
язык программирования: Python
-
объектное хранилище: S3
-
стриминг данных: Kafka
-
реляционные СУБД: Postgres, MSSQL
-
NoSQL: MongoDB
- аналитическая СУБД: Clickhouse;
Будет плюсом:
-
Знание систем контроля версий (Git), контейнеризации (Docker);
-
Опыт работы на проектах в компаниях финтех.
-
Умение разрабатывать модели данных и трансформации с помощью dbt, знание SQL и шаблонизации в dbt
Условия:
- Обсуждаемую ЗП по вашим навыкам и грейду
- 100% удаленную работу
- Оформление по ИП с нашей поддержкой
- Несколько проектов на выбор
- Карьерный рост без постоянных поисков работы
Как начать:
Откликнитесь на вакансию
Пройдите собеседование с рекрутером
Попадите на бенч и получайте предложения по проектам
