Чем предстоит заниматься:
- создание дата-инфраструктуры для фин.платформы. включает создание автоматизации шаблонных процессов, разработка ci/cd процесса (совместно с командой DO);
- разработка витрин данных;
- работа над контролем качества данных (разработка проверок совместно с аналитиками);
- автоматизация рутинных процессов;
- понимание бизнес-процессов направления;
- работа над задачами платформы.
Требования:
- от 3х лет опыта в разработке DWH/ETL
- уверенный SQL (PostgreSQL преимущество) включая оптимизацию SQL запросов
- Python
- опыт работы с оркестраторами (желательно Airflow)
- опыт работы с MPP (GreenPlum, Vertica, Exadata и т п) системами
- Presto/Trino
- Hadoop, Spark - не самые обязательные скиллы, но очень желательно, т.к. при отсутствии опыта придётся добирать в процессе
- Yandex Cloud - ближе к обязательным, т.к. на проекте будет больше клауда