Search Quality & ML Lead

AnyQuery — продукт экосистемы Т‑Банка. Делаем e-commerce Gen AI, поиск и персонализацию (поиск, автокомплит, рекомендации, визуальный поиск).

Нашими решениями пользуются 1 000+ интернет-магазинов; продуктом пользуются сотни миллионов пользователей ежемесячно — поэтому у нас высокий стандарт качества и ответственности.

Роль

Вы — лидер качества поиска и ML-стратегии. Ваша зона ответственности: метрики качества, алгоритмы ранжирования, интеграция LLM в поисковый пайплайн, агентский поиск, A/B-тестирование. Вы определяете, что «хороший поиск» для каждой вертикали, и превращаете это в измеримые улучшения.

Стек

Python, PyTorch/Transformers, Elasticsearch (scoring/ranking), Triton, Milvus, LLM (OpenAI, Claude, open-source), MLflow, Airflow, SQL, A/B-testing frameworks.

Задачи (первые месяцы)

• Построить пайплайн оценки качества поиска с нуля: golden sets, метрики (NDCG, MRR, precision@k, recall@k), dashboards.
• Аудит текущих алгоритмов ранжирования: scoring functions, boosting rules, анализ query logs.
• Запустить процесс SbS-оценки (side-by-side) и offline A/B для быстрой итерации.
• Настроить работу с командой оценки (assessors): guidelines, inter-annotator agreement, калибровка.

Задачи (3–6 месяцев и далее)

• LLM-стратегии: query understanding (intent classification, query expansion, typo correction), LLM-based reranking, generative answers.
• Агентский поиск: проектирование и запуск AI-агентов для сложных пользовательских сценариев в новых вертикалях.
• Гибридный поиск: оптимизация комбинации BM25 + dense retrieval (embeddings), настройка весов по вертикалям.
• Построение ML-фичей для ранжирования: CTR prediction, relevance models, personalization signals.
• Online A/B-тестирование: дизайн экспериментов, статистическая значимость, метрики impact на бизнес.

Наш идеальный кандидат

• 4–7+ лет в Search/NLP/ML, из них 1+ год в роли лида или tech lead.
• Глубокое понимание Information Retrieval: BM25, learning-to-rank, dense retrieval, hybrid search.
• Практический опыт с LLM: fine-tuning, prompting, RAG-архитектуры, agentic workflows.
• Опыт построения метрик качества поиска и пайплайна оценки (offline + online).
• Знание Elasticsearch на уровне scoring/ranking customization.
• Навыки A/B-тестирования и статистического анализа.

Будет плюсом

• Опыт в e-commerce search.
• Публикации/выступления по теме search/NLP/IR.
• Опыт с multi-tenant системами (разные стратегии для разных клиентов).
• Знание SSRL, SPLADE и других современных подходов к retrieval.

Почему мы?

• Масштаб и ответственность: продукт с огромной аудиторией и реальным влиянием на e-commerce.
• Рост и обучение: внутренняя база знаний и обучение, доступ к материалам/книгам Т‑Банка.
• Сильная команда и влияние на технические решения.
• Забота о ментальном здоровье — скидки на услуги сервиса «Ясно».
• Английский по корпоративной программе совместно с Skyeng.
• Гибридный формат: крутой офис в центре Москвы (м. Белорусская) со спортзалом, катком, бесплатными завтраками, обедами, зонами для отдыха и медитаций