Инженер данных/Data Engineer

В Университет 2035 в связи с расширением штата сотрудников нужен Инженер данных.

Сейчас активно идет процесс создания цифрового реестра кадров БАС.

Основные задачи реестра:

1. Сформировать сбалансированный, быстро адаптирующийся рынок труда, способный гибко реагировать на технологические вызовы и обеспечивать национальный технологический суверенитет в секторе беспилотных авиационных систем.
2. Создать единое цифровое пространство, в котором сведения о компетенциях специалистов, кадровых потребностях и технологических новинках непрерывно консолидируются и остаются актуальными, формируя открытый и достоверный рынок труда БАС.

Что предстоит делать:

• Заниматься подготовкой, очисткой и загрузкой данных в БД с использованием специализированных инструментов и вручную, посредством SQL-запросов и скриптов в Python;
• Заниматься поиском и выгрузкой данных из БД по заданным условиям и в соответствии с поступающими заявками;
• Обеспечивать корректировку, обновление, перезапись данных, включая каскадные изменения;
• Осуществлять анализ данных на предмет ошибок и аномалий;
• Готовить данные по запросу смежных подразделений
• Обеспечивать полноту и актуальность (разработка и обновление) SQL-запросов и скриптов на языке Python;
• Осуществлять мониторинг состояния, целостности данных БД
• Разрабатывать ETL скриптов
• Проектировать и передавать данных через REST API.

Что мы ждём от кандидата:

• Опыт работы с высоконагруженными системами
• Знание Python (написание пайплайнов, работа с API, работа с pandas/numpy, PySpark, SQLAlchemy) и PostgreSQL;
• Знание сложных запросов, включая каскадные операции;
• Знание реализации SQL-запросов и манипуляции с данными с помощью скриптов на языке Python;
• Опыт предобработки, очистки данных, постобработки и сведения данных в массив для последующего анализа.
• понимание жизненного цикла данных в цифровых продуктах и построения аналитики на их основе
• опыт работы в кросс-функциональных командах
• опыт проектирования и поддержка ETL/ELT-процессов для агрегации данных из различных источников (БД разработки, логи оборудования, метрики продаж, сервисные обращения);
• опыт очистки, трансформации и нормализации данных (включая полуструктурированные/неструктурированные данные);
• навыки мониторинга качества данных и алертинга о проблемах.

Будет плюсом:

• Высшее образование в области IT;
• Знание рынка БАС;
• Понимание тенденций цифровизации в образовании.

Что мы предлагаем:

• Аккредитованная IT-компания;
• Конкурентная белая заработная плата;
• ДМС после испытательного срока;
• Комфортный офис в центре Москвы (м. Краснопресненская/Баррикадная);
• Возможность принять участие в масштабных федеральных проектах.