Чем предстоит заниматься:
- Предстоит разработать LLM-as-a-judge-систему для оценки одного из ключевых критериев качества ответов Алисы. Это откроет новые горизонты в области автоматизации;
- Предстоит создать датасет для новой измеряемой метрики, организовать его разметку и разработать автоматизированную систему расчёта этой метрики. Ваши решения будут напрямую влиять на совершенствование нашего продукта.
Требования:
- Отлично владеете Python, знаете все тонкости алгоритмов, структур данных, GIL и asyncio
- Умеете работать с базами данных, извлекая полезную информацию из хаоса
- Понимаете ML- и продуктовые метрики и знаете, как использовать их для анализа
- Владеете математической статистикой и теорией вероятностей и умеете применять эти знания на практике
- Проактивны и готовы к самостоятельному поиску решений: вы не боитесь брать на себя ответственность в сложных задачах