LIAN — системный интегратор с фокусом в аналитике и управлении данными.
Мы работаем в трех направлениях:
1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.
2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.
3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.
Сейчас мы приглашаем опытного Data инженера.
Чем предстоит заниматься:
-
Проводить анализ источников данных в легаси-БД MSSQL: собирать информацию о структуре и наполнении, выявлять ключевые бизнес-сущности, взаимосвязи и регламентные операции;
-
Проектировать и оптимизировать потоки переноса данных из MSSQL в новое хранилище;
-
Разрабатывать и поддерживать модели данных и трансформации в dbt для формирования итоговых витрин;
-
Организовывать и автоматизировать процессы оркестрации с помощью Airflow: настройка запусков, мониторинг, создание алертов, управление зависимостями тасок и DAG-ов;
-
Контролировать качество данных, проводить тестирование и обеспечивать целостность при миграции и трансформациях;
-
Внедрять и сопровождать процессы инкрементальной загрузки, а также оптимизировать производительность;
-
Работать с потоками данных и интеграцией через Kafka для обмена событиями в режиме реального времени;
-
Использование систем контроля версий (Git) и контейнеризации (Docker) будет преимуществом.
Наши пожелания к кандидатам:
-
Глубокие знания и практический опыт работы с реляционными базами данных: понимание структуры, способов наполнения и управления данными;
-
Умение писать и оптимизировать сложные SQL-запросы, включая использование оконных функций, CTE и маппингов между базами;
-
Опыт проектирования и построения моделей данных, адаптированных под аналитические задачи и эффективную работу DWH;
-
Понимание принципов нормализации и денормализации, владение подходами построения схем «звезда» и «снежинка» и их практическое применение;
-
Навык создания устойчивых и масштабируемых моделей данных с учётом особенностей источников и целевых систем;
-
Знание методологии Data Vault и современных подходов к моделированию, обеспечивающих прозрачность, хранение истории изменений и восстановление данных;
-
Опыт документирования моделей данных и поддержания их совместимости с процессами ETL/ELT и бизнес-метриками;
-
Умение управлять изменениями модели при росте объёмов данных и изменении требований аналитики;
-
Владение Python для автоматизации и работы с данными;
-
Опыт работы с объектными хранилищами (S3), стримингом данных (Kafka), реляционными СУБД (Postgres, MSSQL), NoSQL-решениями (MongoDB) и аналитическими СУБД (ClickHouse);
-
Практический опыт создания и поддержки ETL/ELT-конвейеров данных;
-
Навыки построения моделей данных и трансформаций с использованием dbt, знание SQL и шаблонизации в dbt;
-
Опыт оркестрации процессов с помощью Apache Airflow: настройка DAG-ов, автоматизация и мониторинг задач;
-
Понимание методологий и практик DataOps: контроль версий, тестирование, мониторинг и безопасное развёртывание моделей данных;
-
Умение работать с технической документацией и описывать процессы;
-
Способность эффективно взаимодействовать в кросс-функциональной команде, понимать бизнес-контекст задач;
-
Самоорганизация, инициативность и готовность самостоятельно решать технические и организационные вопросы.
Что мы предлагаем:
- Трудоустройство по ИП/СЗ
- Работаем удаленно
- Работа с современными и передовыми технологиями
- Широкие возможности для профессионального и карьерного роста
В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал.
Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !
