Чем предстоит заниматься
- Разрабатывать MLOps/autoML платформы
- Миграция сервисов платформы на новые версии библиотек scala/spark
- Проектировать структуры хранения и представления данных
- Разрабатывать промышленные сервисы распределенной обработки данных для поставки данных на платформу машинного обучения
- Анализировать производительность и масштабировать продукты под возрастающую нагрузку
- Писать юнит и интеграционные тесты, проводить code review
Требования
- Опыт разработки на Scala от 2 лет
- Опыт работы со Spark
- Понимание принципов оптимизации обработки данных (знание форматов хранения данных, понимание принципов работы join и т.д.
- Понимание архитектуры и принципов работы Spark-приложений
- Навык работы с Docker, Kubernetes Будет плюсом:
- Опыт работы со SparkML
- Знания особенностей spark разных версий
- Опыт проектирования или работы с современными MLOps платформами
- Понимание принципов обучения ML-моделей
- Знание Python
- Опыт работы с базами данных Cassandra, Scylla etc.