Требования:
- Опыт работы в роли инженера данных или инженера машинного обучения от 4 лет;
- Опыт построения дата платформы, включая хранилища данных, ETL / ELT пайплайнов и мониторинга;
- Опыт построения и работы с хранилищами данных;
- Опыт по выгрузке данных из внешних источников;
- Опыт работы с SQL и NoSQL;
- Опыт построения и организации Data Quality;
- Знание и ежедневное применение Scala Spark, желательно знание Python для работы с Airflow.
Чем предстоит заниматься:
- Участвовать в разработке и поддержке архитектуры данных и пайплайнов как пакетной, так и потоковой обработки совместно с архитектором;
- Разрабатывать пакетные и потоковые пайплайны по требованиям от продуктовых команд;
- Мониторить пайплайны и качество данных, включая Data Lineage;
- Разбирать инциденты (есть дежурства в рабочее время, дежурный следит за слак каналом с инцидентами).