Чем предстоит заниматься
- Вам предстоит поддерживать и развивать модули платформы, а также добавлять новые данные в DWH.
- Вы будете общаться с коллегами и заказчиками, чтобы лучше понять бизнес-процессы и основные концепции.
- Вы будете проектировать и разрабатывать процессы для обработки и хранения данных, следить за их качеством и полнотой, а также готовить регулярные и специальные отчёты.
Требования
- Работали с Git
- Уверенно программируете на Python, понимаете и используете ООП
- Уверенно владеете SQL (join, агрегации, оконные функции)
- Строили ETL- или ELT-процессы
- Понимаете принципы построения хранилищ данных и подходы к нему
Будет плюсом
- Работали с Apache Hadoop и Apache Spark
- Использовали Airflow, Luigi или другой оркестратор
- Создавали хранилища данных по модели Data Vault или Anchor Model
- Занимались рефакторингом, ревью кода
- Понимаете CI/CD
- Работали с ClickHouse, PostgreSQL, Greenplum, BigQuery и другими БД
- Знакомы с Docker
- Работали с брокерами сообщений RabbitMQ, Kafka