Чем предстоит заниматься:
- Поиск данных, обработка данных, кластеризация, создание эмбеддингов, интеграция в текущие процессы
- Проведение исследований, проверка гипотез команды с использованием LLM и ML
- Разработка новых подходов и процессов разметки данных для оценки качества работы LLM
- Разработка и внедрение моделей (NLP\Классический ML) в промышленные системы.
Требования:
- Проведение A/B тестов
- Уверенное владение SQL с использованием подзапросов, оконных функций, регулярных выражений
- Опыт работы с python + numpy, sklearn, pandas + библиотеки обработки текстовых данных
- Понимание принципов работы LLM
- Понимание и опыт практического применения алгоритмов машинного обучения: нейронные сети, композиционные алгоритмы (случайный лес, градиентный бустинг и т.д.) NLP (BERT, TF-IDF)
- Опыт в части обработки и моделирования данных - не менее 2 лет.
Будет плюсом:
- Опыт работы с Hadoop (HDFS, Hive), Spark
- Опыт вывода моделей в Пром, регулярного мониторинга качества скорринга
- Опыт командной разработки (GIT).