Data Engineer, Антифрод

Привет! Это команда Антифрода.

Наша задача - выявлять и предотвращать мошеннические активности на маркетплейсе. Мы занимаемся анализом подозрительной активности, выявлением паттернов фрода, обнаружением аномалий, разрабатываем алгоритмы и модели машинного обучения в разных областях: анализ текста, речи, финансовых операций, скоринг клиента и селлера на разных этапах, обнаружение скрытых связей между пользователями, и многих других. Мы не пилим и не тюним годами один и тот же алгоритм: любая наша разработка - это отдельный проект с нуля!

Сейчас мы ищем Инженера данных, который понимает, как данные используются в ML, и сможет автоматизировать рутину DS, настроит доставку данных из разных источников, сделает это грамотно, надёжно, поддерживаемо и эффективно.

Вы будете:

• Строить ETL-пайплайны для данных транзакций, логов сессий, агрегатов клиентского и селлерского опыта.
• Оптимизировать ETL-процессы для реального времени (near real-time) или batch-обработки.
• Строить интеграцию с ML-инфраструктурой (автоматическое обновление признаков, мониторинг дрейфа, версионирование моделей, автоматизация процесса дообучения ML моделей).
• Обеспечивать отказоустойчивость и производительность пайплайнов.

Нам важно:

• Опыт в Data Engineering от 3-х лет.
• Знание Python (ООП, асинхронность, тестирование).
• Опыт работы с Big Data: PySpark / SQL (сложные агрегации, оптимизация запросов), Hadoop, Kafka (стриминг).
• Опыт с ETL-фреймворками (любой из): Airflow, Luigi, Dagster.
• Базы данных: PostgreSQL, ClickHouse (или аналоги).
• Мониторинг данных (Evidently, Whylogs, Grafana, Prometheus).
• Docker, REST API (для интеграции с ML-сервисами).
• Понимание ML-цикла (обучение, инференс, мониторинг).

С нами классно работать:

• Масштабные и значимые задачи — мы строим один из крупнейших e-commerce в стране.

• Нам не всё равно — ценим инициативу и самостоятельность, доверяем команде и даём свободу в принятии решений.

• Открытая культура — мы учимся на ошибках и фокусируемся на решении проблем, а не на поиске виноватых.

• Сильная команда, которой мы гордимся — обсуждаем идеи, обмениваемся экспертизой, просим совета и поддерживаем друг друга.

• Современный стэк и развитая инженерная культура — реализуем амбициозные проекты и создаём решения, которых ещё нет на рынке.