Чем предстоит заниматься:
- Разрабатывать и поддерживать ETL процедуры в Airflow;
- Проектировать, реализовывать и внедрять распределённые системы обработки и хранения данных;
- Учавствовать в развитии архитектуры хранилища;
- Работать с реляционными/NoSQL базами данных;
- Разрабатывать и поддерживать процедуры автоматизации аналитической инфраструктуры.
Требования:
- SQL на уровне анализа производительности запросов;
- Python;
- Опыт в разработке хранилищ данных в роли разработчика на протяжении всего жизненного цикла проекта от 3 лет;
- Опыт работы с реляционными СУБД;
- Опыт программирования БД (SQL или PL-SQL или T-SQL), опыт написания сложных запросов и хранимых процедур (Vertica, Oracle, ClickHouse, Postgre);
- Участвовали во внедрении и приемке системы;
- Опыт разработки документации: технический (функциональный) дизайн, или техническое задание, или техническая спецификация.
Будет плюсом:
- Современными code-driven ETL/ELT инструментами;
- Распределенными колоночными СУБД (ClickHouse, Vertica, Greenplum);
- Docker, Kubernetes;
- S3 хранилищем;
- CI/CD процедурами.