Мы в Telegram
Чем предстоит заниматься
- Разрабатывать и поддерживать ETL/ELT-пайплайны для загрузки и обработки данных из различных источников;
- Участвовать в миграции существующих процессов загрузки данных на новую data-платформу на базе ClickHouse;
- Развивать и поддерживать инструменты оркестрации и обработки данных;
- Автоматизировать процессы разработки и эксплуатации data-платформы: CI/CD, тестирование, развёртывание и управление конфигурациями;
- Развивать наблюдаемость платформы: настраивать мониторинг, логирование и алерты, участвовать в расследовании и устранении инцидентов;
- Повышать надёжность и производительность пайплайнов: оптимизировать выполнение задач, обеспечивать повторную обработку данных и восстановление после сбоев.
Требования
- Опыт работы Data Engineer от 2 лет;
- Уверенное знание Python и SQL, опыт разработки и сопровождения data-пайплайнов;
- Практический опыт работы с Docker, Kubernetes и инструментами CI/CD (GitLab CI или аналоги);
- Опыт работы с Apache Airflow или другим оркестратором, понимание принципов построения надёжных процессов обработки данных;
- Опыт работы с ClickHouse или другими аналитическими СУБД, понимание принципов построения DWH и инкрементальных загрузок;
- Опыт диагностики технических проблем, понимание принципов мониторинга, логирования и обеспечения отказоустойчивости систем.