Чем предстоит заниматься:
- Разрабатывать модели и процессы подготовки данных.
- Разрабатывать комплекс системы мониторинга процессов и данных.
- Развивать и поддерживать полный цикл разработки ETL процессов — от постановки задачи до выведения в production.
Требования:
- Опыт работы в роли Data Engineer от 1-2 лет.
- Отличное владение Python или Scala.
- Знание SQL на уровне написания сложных запросов (Postgres, Mysql, Oracle)
- Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
- Готовность общаться с бизнесом и отвечать end-to-end за задачу.
- Опыт разработки CI/CD (написание скриптов, имплементация шаблонов и т.д.).
- Умение работать с Airflow.
Будет плюсом:
- Работали с Hadoop и Kubernetes