Чем предстоит заниматься
- проектирование, разработка и вывод в промышленную эксплуатацию аналитических витрин данных для целей отчетности и моделирования на стеке Hadoop + Spark + Java/Scala
- разработка, оптимизация ETL-потоков сбора данных
- предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists) по вопросам, связанным с использованием данных
- коммуникация со смежными командами по вопросам подключения новых источников данных и доработку действующих.
Требования
- опыт работы scala-разработчиком/дата-инженером от 3 лет
- знание SQL: понимание планов запроса, внутренней работы SQL-запросов
- опыт работы с Hadoop и Apache Spark
- понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузки
- знание типов медленно меняющихся измерений
- опыт написания тестов (unit, integration, acceptance)
- опыт работы с git и прочими системами контроля версий
- умение работать в команде
- готовность обучаться новым технологиям.