Чем предстоит заниматься:
- Проведение аудита существующих дата-пайплайнов, выявление узких мест и точек отказа;
- Проектирование и реализация целевой архитектуры загрузки, трансформации и хранения данных под высокую нагрузку;
- Разработка и внедрение единых стандартов и лучших практик, включая стандартизацию процессов ETL/ELT, управление схемами данных и ведение документации.
Требования:
- Data Engineer более 5 лет;
- Отличное знание Spark и одного из языков Scala/Java;
- Способность проектировать архитектуру под высокую нагрузку и масштабировать решение;
- Глубокое понимание ETL/ELT-процессов и архитектуры дата-систем;
- Опыт профилирования и оптимизации производительности пайплайнов;
- Уверенные навыки SQL и работы с хранилищами данных (ClickHouse, PostgreSQL, S3 или аналоги).
- Опыт работы с Airflow или аналогами, и настройка мониторинга/алертов