Чем предстоит заниматься:
- Разрабатывать и поддерживать ETL процедуры в Airflow
- Проектировать, реализовывать и внедрять распределённые системы обработки и хранения данных
- Участвовать в развитии архитектуры хранилища
- Работать с реляционными/NoSQL базами данных
- Разрабатывать и поддерживать процедуры автоматизации аналитической инфраструктуры
Требования:
- Уверенное знание SQL
- Уверенное знание Python
- Опыт разработки ETL процедур от 3-х лет
- Опыт работы с реляционными СУБД
- Навыки командной разработки в Git
Будет плюсом:
- Современными code-driven ETL/ELT инструментами
- Распределенными колоночными СУБД (ClickHouse, Vertica, Greenplum)
- Docker, Kubernetes
- S3 хранилищем
- CI/CD процедурами