Чем предстоит заниматься:
- Подключение новых источников и разработка/модернизация data pipelines;
- Настройка/поддержка аналитического окружения;
- Отправка/обмен данными с внешними и внутренними сервисами;
- Участие в принятии архитектурных решений для новой дата платформы;
- Модернизация текущей дата платформы вместе с Core командой дата инженеров.
Требования:
- Опыт работы инженером данных от 3 лет;
- Отличное знание Python, SQL;
- Опыт разработки процесса для тестирование данных;
- Опыт работы и внедрение дата каталогов будет большим плюсом;
- Умение строить высоконагруженные streaming и batch пайплайны;
- Опыт работы в нашем стеке Apache Spark, Apache Airflow, Trino будет плюсом;
- Опыт работы с Kubernetes, Terraform и с с AWS приветствуется;
- Самостоятельность и ответственность, умение коммуницировать с разными командами и людьми;
- Желание развиваться и выстраивать процессы вокруг себя.