Сейчас мы расширяем команду Trust and Safety и ищем дата-аналитика (data analyst) в стрим AI Safety, который поможет развивать безопасное и качественное использование LLM и AI-ассистентов в компании. В этой роли фокус будет на данных и продуктовой аналитике: анализе пользовательских сценариев, качества ответов LLM, эффективности фильтров и guardrails, поиске проблемных паттернов, проверке гипотез и построении метрик для AI Safety-направления.
Вам предстоит:
- Анализировать запросы и ответы LLM/AI-ассистентов: пользовательские сценарии, ошибки, спорные кейсы, частотные паттерны;
-
строить и развивать метрики качества и безопасности AI-сервисов;
-
исследовать эффективность guardrails, фильтров, классификаторов и других механизмов проверки запросов/ответов;
-
формулировать гипотезы по улучшению пользовательского опыта и безопасности AI-сценариев;
-
готовить дашборды, отчеты и аналитические выводы для продуктовых, ML/DS, ИБ и инженерных команд;
-
участвовать в оценке качества внутренних AI-ассистентов и AI-агентов для задач ИБ;
-
помогать команде принимать решения: какие проверки дорабатывать, какие сценарии автоматизировать, где нужен ручной review или дополнительная разметка.
Вы нам подходите, если:
-
У вас есть опыт работы аналитиком от 2х лет;
-
вы уверенно владеете SQL и Python для анализа данных;
-
вы умеете проводить исследования, проверять гипотезы и превращать данные в понятные выводы;
-
у вас есть опыт работы с неидеальными данными: логами, текстовыми событиями, ручной разметкой, спорными кейсами.
