Чем предстоит заниматься
- Разрабатывать и оптимизировать Spark-приложения, которые обрабатывают десятки терабайт данных
- Проектировать и поддерживать пайплайны и их оркестрации (Airflow, CI/CD)
- Встраивать и масштабировать ML-модели прогнозирования спроса — от классических ML до современных ансамблей.
- Поддерживать продакшен-цикл моделей: обучение, валидация, деплой, мониторинг качества
- Создавать микросервисы и унифицированные решения, которые реально влияют на бизнес.
Требования
- Отличное знание Apache Spark: разработка PySpark-приложений, оптимизация вычислений, опыт работы с big data
- Опыт оркестрации сервисов с использованием Airflow
- Опыт построения CI-пайплайнов.
Будет плюсом
- Понимание принципов Kubernetes
- Опыт с Kubeflow и Docker
- Навыки работы с ML-фреймворками.