Чем предстоит заниматься
- Настраивать процессы доставки изменений данных
- Решать стандартные задачи доставки данных: репликацию и трансформацию
- Настраивать процессы доставки метаданных (OpenMetadata)
- Разрабатывать Spark-задачи
- Формировать и прорабатывать архитектурные документы (ADR)
Требования
- Опыт работы на позиции Data Engineer, инженер хранилища данных от 3 лет
- Опыт решения задач репликации данных, создания слоев данных и витрин
- Высокий уровень владения SQL: умение писать сложные запросы и подзапросы с нуля, применять джойны и оконные функции, ежедневное использование SQL в работе
- Опыт работы с Trino, dbt, Kafka-connect, Apache Airflow, Docker Compose, k8s, Scala, Python
Будет плюсом:
- Понимание методик построения хранилищ данных: Data Lake, Lakehouse, Data Vault, Data Mesh