Чем предстоит заниматься:
- Расширять существующие форматы данных;
- Разрабатывать и поддерживать ETL/ELT-процессы;
- Автоматизировать batch-расчёты;
- Подключать новые источники данных;
- Участвовать в миграции пайплайнов с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse);
- Работать с большими объемами данных и высоконагруженными Kafka-топиками.
Требования:
- У тебя есть опыт работы с данными — от junior+ до уверенного middle;
- Понимаешь, как устроены ETL/ELT-процессы;
- Умеешь писать SQL и читаешь логику отчётов без боли;
- Знаком с Apache Spark, Kafka, ClickHouse — будет плюсом;
- Пишешь на одном из языков (например, Scala или Python);
- Хочешь развиваться в направлении построения дата-инфраструктуры.