Требования:
- Опыт ручного тестирования web-приложений от 3 лет;
- Опыт в тестировании моделей машинного обучения от 1 года;
- Опыт в составлении тест планов и тестовой стратегии;
- Опыт разработки скриптов на Python;
- Опыт работы с баг-трекинговыми системами и системами менеджмента тест-кейсов (Jira, Testrail и т.п.);
- Знание методологий тестирования и разработки ПО;
- Понимание какие подходы в обеспечении качества дадут лучший эффект для различных ML моделей;
- Понимание особенностей тестирования web на различных платформах/браузерах.
Чем предстоит заниматься:
- Тестирование ML-моделей в домене LLM/NLP;
- Внедрение процессов обеспечения качества в сфере разработки ML продуктов команды;
- Формирование необходимого набора метрик качества для ML моделей команды, развитие этих метрик и контроль за ними;
- Формирование датасетов, подготовка заданий и контроль работы команд разметки данных;
- Проведение ручного тестирования веб-сайта (Frontend/Backend);
- Разработка тест планов и ручных тест кейсов;
- Разработка автотестов (Selenium+Python);
- Участие в груммингах новых фич, способность комплексно смотреть на тестируемый продукт, видеть узкие места в реализации функционала, предлагать улучшения;
- Контроль соответствия качества релизов принятым в компании критериям;
- Контроль метрик команды, связанных с качеством, выработка инструментов для их контроля;
- Тестирование требований;
- Анализ и оптимизация тестового покрытия на проекте;
- Взаимодействие с разработчиками, продакт менеджерами, проджект менеджерами, отделом дизайна и клиентской службой;
- Разбор входящих обращений от Клиентской службы.