Чем предстоит заниматься:
- Участвовать в обновлении технологического стека
- Работать с оптимизацией и реализацией дата пайплайнов внутри команды
- Заниматься мониторингом состояния целостности данных в БД
- Администрировать и оптимизировать командное хранилище данных Apache Hadoop/Doris
- Заниматься реализацией витрин и поддержкой источников данных для работы продуктовой команды аналитики
- Развивать и поддерживать полный цикл разработки ETL процессов - от постановки задачи до выведения в production.
Требования:
- Опыт работы в роли Data Engineer от 2 лет.
- Отличное владение Scala или Python.
- Уверенное владение Apache Spark
- Опыт работы с Apache Hadoop, Apache Airflow и Apache Kafka
- Базовые навыки или понимание практик DevOps/SRE
- Опыт сбора и систематизации данных, прикладного анализа и структуризации данных, работы с документацией и управления бэклогом задач