Чем предстоит заниматься:
- Извлечение, преобразование и очистка данных
- Выстраивание новых и оптимизация существующих ETL-процессов (ELT)
- Оптимизация процессов обработки данных и запросов к источникам данных (API, S3, БД)
- Построение витрин
- Предстоит работать со следующими технологиями: Python, SQL, Docker, SQL-Alchemy, MS SQL Server, PostgreSQL, Airflow, dbt, Kafka, k8s, Hadoop, микросервисная архитектура
Требования:
- Написание сложных SQL запросов и их оптимизация;
- Знание Python;
- Опыт создания ETL процессов;
- Опыт работы с Hadoop, Airflow, dbt.