Обязанности:
Исследовать и прототипировать новые методы контроля качества данных на наших данных.
• Проектировать ML- и статистические контроли для выявления аномалий, дрейфа распределений, деградации свежести данных, нарушений сезонных паттернов и нетипичных комбинаций метрик.
• Строить базовые ожидания по DQ-метрикам: row_count, null_rate, unique_count, свежесть данных, доли категорий.
• Подбирать подходящие методы под конкретную задачу: от простых правил и статистических проверок до ML-моделей.
• Валидировать контроли без готовой разметки: проверять их на исторических данных, использовать синтетические аномалии, shadow mode и анализ ложных срабатываний.
• Интегрировать решения в production-пайплайны: Airflow, PySpark, Hive/Hadoop.
• Настраивать алертинг для операционных команд и сопровождать решения в production.
Требования:
• Опыт в ML / Data Science от 3 лет.
• Уверенное владение Python (pandas, numpy, scikit-learn) и SQL.
• Ключевой стек: Python, SQL, Airflow, PySpark, Hadoop/Hive, MLflow.
• Сильная база по математической статистике и классическому машинному обучению: линейные модели, деревья, бустинги.
• Опыт с методами выявления аномалий и/или обнаружения дрейфа данных.
• Опыт работы с временными рядами.
• Опыт вывода моделей в production, их мониторинга и версионирования.
• Понимание, где действительно нужен ML, а где достаточно правила, SQL-проверки или статистического базового контроля.
Будет плюсом
• Опыт построения DQ-фреймворка, системы мониторинга качества данных или мониторинга ML-моделей в production.
• Опыт мониторинга признаков и скорингов моделей: дрейф признаков, дрейф скорингов, delayed labels.
• Опыт с Kafka, Flink или Spark Structured Streaming.
• Опыт работы с банковскими, финансовыми или транзакционными данными.
• Опыт с объяснимостью моделей: SHAP, permutation importance, анализ причин срабатывания контроля.
• Опыт настройки алертинга и дашбордов для операционных команд.
Условия:
• Стабильную работу в одном из крупнейших банков страны
• Сильное DS community, большое разнообразие рабочих и внерабочих активностей. telegram
• Конкурентную заработную плату, соцпакет.
• Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).
• Дружный коллектив единомышленников (все специалисты, занимающиеся машинным обучением объединены одним департаментом для максимально плотного и продуктивного обмена знаниями).
• Передовой стек технологий, высокопроизводительное оборудование.
• Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат (в т.ч. в бизнес-смысле) и способы его достижения (вплоть до внесения изменений в архитектуру).
• Квартальный бонус по результатам работы;
• ДМС, страхование жизни;
• корпоративное обучение;
