Чем предстоит заниматься
- обеспечивать выгрузку данных из реляционной БД в файлы на sFTP папку и обратно
- поддерживать и разрабатывать ETL-процессы с помощью Python Apache Airflow
- контролировать качество загружаемых данных, настраивать проверки и алерты с помощью внутреннего DQ сервиса
- поддерживать и разработать витрины данных для аналитиков.
Требования
- опыт работы с PostreSQL, ClickHiouse, Hadoop, Spark, Airflow
- уверенное знание SQL и Python
- навыки работы с Git.