Чем предстоит заниматься:
- Развивать и поддерживать полный цикл разработки ETL процессов - от постановки задачи до выведения в production.
Требования:
- Опыт работы в роли Data Engineer от 1-2 лет.
- Отличное владение Scala или Python.
- Знание SQL на уровне написания сложных запросов.
- Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
- Опыт работы с Hadoop от 1 года.
- Готовность общаться с бизнесом и отвечать end-to-end за задачу.
- Образование - высшее техническое, математическое или ИТ.
Будет плюсом:
- Работали с потоковой обработкой данных
- Знакомы с инструментом NiFi