Садовая-Спасская улица 28
АО «Агропромцифра» создано в 2023 году по директиве Правительства РФ для обеспечения информационной безопасности Минсельхоза РФ и подведомственных организаций. Компания является единым поставщиком Минсельхоза России по развитию ряда государственных информационных систем и осуществляет эксплуатацию ГИС.
На данный момент у нас идёт активный рост задач по продуктам и развитию компании, поэтому мы расширяем наш штат и ищем единомышленников для создания новой и прочной структуры. Сейчас мы в поисках Data Engineer и будем рады вашей заинтересованности.Ключевое: требуется обеспечить стабильную загрузку, трансформацию и перепроверку данных для больших объёмов (сотни млн записей) с гарантией воспроизводимости расчётов.
Обязанности:
- Спроектировать и реализовать DAG-и загрузки данных в Python (Airflow / Prefect).
- Разработать ETL/ELT-процессы из операционных БД, API, файлов в аналитическое хранилище.
- Настроить инкрементальную загрузку и механизмы перезалива витрин при исправлении исходных данных.
- Организовать мониторинг и алертинг по пайплайнам.
- Обеспечить idempotency и повторяемость расчётов (для аудита).
- Тюнинг запросов и распределения данных (партиционирование, сортировка).
Требования:
- Опыт разработки ETL/ELT от 3 лет (Middle) / 5+ лет (Senior), причём именно самостоятельного кода, а не настройки out-of-box инструментов.
- Продвинутый Python (типизация, контекстные менеджеры, работа с pandas/polars, написание операторов Airflow).
- Глубокий SQL: умение переписать неоптимальный запрос, понимание блочного выполнения.
- Опыт с одной из систем оркестрации (Airflow обязательно по стеку, Dagster, Prefect — как плюс).
- Работа с версионированием схем данных (Liquibase, alembic или ручные миграции).
- Понимание семантики exactly-once / at-least-once, донастройка графа на Memgraph и DGL.
- Самостоятельность: сами формулируете подзадачи, выбираете решения, доводите до продакшена.
Условия:
- Конкурентная заработная плата;
- Работа в аккредитованной it-компании в команде профессионалов;
- Интересные и амбициозные задачи, где ваш опыт будет реально заметен;
- Оплата обучения и участия в профильных мероприятиях;
- Льготные цены на продукцию агропромышленного комплекса.
В «Агропромцифре» ваши идеи превращаются в проекты государственного уровня. Давайте вместе выращивать цифровое будущее агропрома России!
