Чем предстоит заниматься:
- Разработка и реализация приложений пакетной обработки данных с использованием Apache Airflow, Python и DBT .
- Сотрудничайте с инженерами по обработке данных и системными аналитиками для интеграции новых источников данных в наши конвейеры данных.
- Разрабатывайте коннекторы данных для различных исходных систем с использованием Python, SQL и DBT .
- Проектируйте и внедряйте витрины данных с использованием пространственных или плоских моделей.
- Создавайте приложения для нормализации данных, вероятностной связи данных и классификации .
- Разрабатывайте системы мониторинга и оповещения для обеспечения надежности приложений обработки данных.
- Тесное сотрудничество с командами DevOps и инфраструктуры для развертывания и управления приложениями обработки данных.
- Будьте в курсе достижений в области обработки данных и аналитики .
- Внесите свой вклад в разработку нашего Integration Data Hub на основе архитектурного шаблона Data Vault 2.0 .
Требования:
- Опыт работы как Data Engineer от 5 лет
- Большой опыт работы с Python и SQL
- Понимание big data как в теории, так и на практике
- Опыт работы с Airflow, DBT, DWH, Data Vault 2