Research Engineer

Чем предстоит заниматься

• - Вносить значимый вклад в процесс исследования и разработки (RnD) внутренней LLM компании — от данных до этапов дообучения модели (continual pre-training, post-training).
• - Самостоятельно обучать Mixture of Experts модели размера 200B+ на многоузловом кластере в распределённом режиме: Data Parallel, Expert Parallel, Context Parallel, Pipeline Parallel и других.
• - Вносить вклад в развитие фреймворка с открытым исходным кодом для распределённого обучения.

Требования

• - Есть опыт в роли инженера-исследователя от трёх лет.
• - Хорошо разбираешься в фундаментальных моделях.
• - Обучал LLM в распределённом режиме с 3D+ параллелизмом.
• - Умеешь отлаживать сложные эксперименты на низком уровне.
• - Пишешь поддерживаемый и воспроизводимый код.
• - Умеешь работать в команде и передавать свой опыт менее опытным коллегам.