Чем предстоит заниматься
- Вам предстоит интегрировать в хранилище новые системы-источники, проектировать структуры хранения данных.
- Вам предстоит разрабатывать надёжные и быстрые пайплайны обработки данных, покрывать данные тестами и настраивать мониторинги процессов, развивать фреймворк поставки данных.
- Вам предстоит совместно с командой аналитиков погружаться в предметную область продуктов и взаимодействовать с бизнесом, чтобы понять, как процессы DWH помогают бизнесу.
Требования
- Знаете SQL на уровне оптимизации запросов
- Уверенно знаете Python на уровне написания собственного фреймворка
- Понимаете принципы проектирования DWH: слои, модели хранения данных, процессы ETL
Будет плюсом
- Работали с Apache Hadoop и Apache Spark
- Работали с ClickHouse, понимаете отличия и преимущества различных движков таблиц
- Умеете работать в командной строке систем Unix-like: Linux, macOS