Чем предстоит заниматься
- Разработывать, оптимизировать и рефакторить spark-приложений
- Проектировать и поддерживать пайплайны и их оркестрации (Airflow, CI/CD)
- Разрабатывать архитектуру и оптимизировать систему прогнозирования спроса
- Разрабатывать микросервисы и унифицированные решения
Требования
- Глубокие знания Apache Spark (разработка Pyspark приложений, оптимизация, работа с большими данными)
- Опыт оркестрации сервисов с использованием Airflow
- Опыт разработки CI - пайплайнов
Будет плюсом
- Понимание основных принципов Kubernetes
- Опыт с kubeflow и docker