Data Platform Engineer

Компания "Retail Expert" - поставщик данных о ритейле, который берет на себя не только сбор, структурирование и подготовку информации к анализу, но и сам анализ.

Мы специализируемся в IT разработках и продаже аналитики, исследований и консалтинга для ТОПов FMCG уже более 10 лет.

Наша миссия — обеспечить нашим клиентам максимально точное определение настоящего и планирование их будущего.

Наши эксперты всегда идут в ногу со временем и используют в своей работе передовые технологии, чтобы обеспечить сервис высокого уровня быстро, качественно и эффективно.

В данный момент, в связи с расширением штата и увеличением объема работы мы находимся в поисках Data Platform Engineer, который совмещает data engineering, backend и platform: проектирует архитектуру, развивает ETL и Python-проекты, поддерживает сервисы и инфраструктуру - от MSSQL и Airflow до Docker/Kubernetes и мониторинга.

Чем предстоит заниматься:

• Проектирование и создание баз данных на MSSQL
• Разработка и поддержка ETL/ELT-пайплайнов на Apache Airflow и PySpark
• Работа с S3-хранилищем и файлами Parquet, организация Data Lake
• Использование Apache Iceberg и Trino для аналитики по данным
• Доработка и улучшение backend-сервисов на FastAPI
• Рефакторинг существующих Python-проектов компании
• Настройка Elasticsearch для поиска и аналитики
• Потоковая передача данных через Kafka
• Автоматизация процессов в n8n
• Контейнеризация и оркестрация сервисов: Docker, Kubernetes
• Настройка CI/CD и мониторинга (Prometheus, Grafana, Zabbix, Netdata или аналоги)
• Проектирование архитектуры: схемы данных, пайплайнов, интеграций

Требования

Hard skills:

• Python (продвинутый): pandas, Polars, PySpark, FastAPI
• SQL / MSSQL / PG - проектирование БД, оптимизация запросов
• Apache Airflow - разработка и поддержка DAG-ов
• PySpark - трансформация и агрегация данных
• ETL/ELT: слои Raw → Staging → Data Marts, инкрементальная загрузка
• S3, Parquet, Iceberg, Trino
• FastAPI - доработка и рефакторинг API-сервисов
• Elasticsearch - индексы, маппинги, поиск
• Kafka, n8n
• Docker / Kubernetes - контейнеризация, деплой и оркестрация сервисов
• Инфраструктура - Windows и Linux.
• CI/CD (GitLab CI, GitHub Actions, Jenkins)
• Мониторинг и алертинг серверов и сервисов

Soft skills:

• Архитектурное мышление: проектирование решений от схемы данных до интеграций
• Системный взгляд на инфраструктуру и пайплайны
• Умение рефакторить Python-код без риска для продакшена
• Самостоятельность в технических решениях
• Документирование архитектуры для команды

Будет плюсом:

• Redis, MinIO, PostgreSQL, ClickHouse
• Pydantic, Celery, Alembic / SQLAlchemy
• dbt, Great Expectations - контроль качества данных
• Nginx, RabbitMQ
• Опыт с LLM-инструментами в разработке

Мы предлагаем:

• Работу с современным data-стеком
• Офис на м. Бутырская
• Официальное трудоустройство
• Конкурентную зарплату по итогам собеседования