Чем предстоит заниматься:
- JDPlex в поисках Data Engineer на аутстаф проекты. Сейчас стоит задача по загрузке данных из S3 в сырой слой хд яндекса
Требования:
- Опыт работы в области управления и обработки данными от 3 лет;
- Профессиональное владение SQL;
- Более двух лет практического опыта работы с Python, Spark;
- Опыт работы с технологиями на основе Hadoop (HDInsight, Spark, Hive, Pig, Scala и т. Д);
- Обширный опыт работы с технологиями хранения Yandex, S3;
Будет плюсом:
- опыт с Azure (но не обязательно): Databricks (pyspark), Azure Data Factory, Azure Data Storage.
- хорошие коммуникативные навыки