Чем предстоит заниматься
- Взаимодействовать с бизнес-заказчиками, валидировать гипотезы, выстраивать пайплайн работы над проектом и участвовать в полном цикле разработки.
- Самостоятельно проектировать архитектуру LLM-агентов и сервисов, разрабатывать MVP, подготавливать данные для загрузки в векторную базу данных и последующей обработки этих данных для ответа на вопросы.
- Создавать системы мониторинга качества работы агентов.
- Считать метрики для отслеживания каждого этапа пайплайна, а также бизнес-метрики.
- Взаимодействовать с backend-разработчиками и prompt-инженерами.
Требования
- Есть опыт проектирования и реализации сервисов с использованием NLP и LLM от 3 лет.
- Есть опыт работы с LLM: знаешь, как и где использовать function calls, понимаешь ограничения разных моделей.
- Умеешь работать с Git: создаёшь ветки, оформляешь merge-реквесты, понимаешь, почему нельзя коммитить большие файлы и модели, умеешь работать с Docker.
- Есть опыт настройки пайплайнов для файнтюна LLM на 7B+ параметров.
- Есть опыт разработки end-to-end-сервисов с использованием LLM. Будет плюсом, если внутри использовались RAG и tool calls.
- Есть опыт вывода в прод сервисов на FastAPI или Streamlit.
Будет плюсом:
- Опыт обучения нейросетей на нескольких GPU с использованием DDP и FSDP.
- Опыт работы с библиотеками TRL, Verl и аналогами.
- Опыт работы с нейросетевым поиском: обучение энкодеров, понимание принципов работы векторных баз данных и индексов.
- Понимание принципов A/B-тестирования.
- Опыт валидации с помощью LLM-as-Judge.