Data Engineer

Мы ищем Data Engineer, который поможет построить data-инфраструктуру с нуля: наладить ETL/ELT-процессы, организовать регулярную загрузку данных из Oracle и PostgreSQL, подготовить аналитические витрины для бизнеса и заложить основу для дальнейшего развития BI и ML-направлений.

Первоочередные задачи:

• Разобраться в текущих источниках данных: Oracle, PostgreSQL, существующие таблицы, связи и бизнес-сущности;

• Совместно с DBA определить безопасные способы регулярной выгрузки данных из production-баз;

• Спроектировать и внедрить первые ETL/ELT-процессы;

• Настроить регулярную загрузку данных из Oracle и PostgreSQL;

• Построить staging-слой и первые аналитические витрины;

• Подготовить данные для отчетности, BI-дашбордов и бизнес-аналитики;

• Помогать бизнесу формулировать метрики, KPI и требования к данным;

• Настроить базовые проверки качества данных: полнота, дубликаты, актуальность, сверки между источниками и витринами;

• Документировать источники данных, пайплайны, таблицы и бизнес-логику;

• Постепенно заложить основу для будущих ML-задач: подготовка датасетов, feature tables и регулярное обновление данных.

Мы ищем человека, который:

• Имеет опыт работы Data Engineer / ETL Developer / DWH Developer / BI Data Engineer от 3 лет;

• Уверенно знает SQL и имеет опыт работы с реляционными базами данных;

• Имеет опыт работы с PostgreSQL;

• Имеет опыт с Oracle (будет большим плюсом);

• Уверенно знает Python для автоматизации, загрузки и обработки данных;

• Понимает ETL/ELT-процессы и принципы построения DWH / ODS / data marts;

• Имеет опыт создания аналитических витрин;

• Понимает инкрементальные загрузки и безопасное извлечение данных из production-баз;

• Умеет работать с большими таблицами без лишней нагрузки на операционные базы;

• Имеет опыт работы с Git;

• Имеет базовый опыт с Linux;

• Умеет взаимодействовать с DBA, аналитиками, разработчиками и бизнес-заказчиками;
• Готов работать в условиях, где data-инфраструктура только формируется.

Будет плюсом

• Опыт с Airflow, Prefect, Dagster или другими инструментами оркестрации;
• Опыт с dbt;
• Опыт с BI-инструментами: Power BI, Tableau, Metabase, Superset, Looker;
• Опыт построения DWH, ODS или аналитических витрин с нуля;
• Опыт внедрения data quality-проверок;
• Опыт с Docker и базовым CI/CD;
• Понимание CDC, логической репликации PostgreSQL, Debezium, Oracle GoldenGate или аналогичных подходов;
• Опыт подготовки данных для ML-моделей;
• Базовое понимание ML: датасеты, признаки, обучение моделей, оценка качества;
• Опыт с pandas, scikit-learn, XGBoost / LightGBM.

Мы предлагаем:

• Возможен вариант работы: удаленно (в пределах РФ)/ частично удаленно/ офис
• Компенсацию за переезд также из регионов в Москву
• Конкурентную заработную плату, квартальные премии по результатам работы.