Чем предстоит заниматься:
- Решить задачу «Оперативное сжатие для LLM».
- Провести исследование и тестирование алгоритмов и подходов SOTA для этой задачи.
- Создать систему проверки и оценки алгоритмов.
- Внедряйте и внедряйте лучшие алгоритмы в производство.
Требования:
- Более 6 лет опыта коммерческой разработки на Python.
- Опыт решения задач Prompt Compression для LLM более 1 года, знание подходов SOTA, понимание принципов soft и hard prompting, kv-cache.
- Глубокие знания архитектур основных LLM, опыт работы с выводами LLM.
- Опыт работы с: классическими фреймворками DL PyTorch / TensorFlow / KerasОпыт работы с трансформерами, Hugging Face.
- Опыт работы с фреймворками LLM: LangChain, LlamaIndex и т. д.
- Высшее образование в области компьютерных технологий/прикладной математики и/или прикладной информатики.