Чем предстоит заниматься:
- Развивать инструменты КХД;
- Принимать решения о внедрении/замене элементов инфраструктуры;
- Руководить разработкой фреймворков хранилища;
- Развивать ключевые показатели DWH (SLA доступности, скорость запросов, observability);
- Общение с подрядчиками и контроль хода разработки.
Требования:
- Коммерческий опыт 5+ лет работы с Big Data, включая обязательный практический опыт работы с S3, Iceberg и Parquet и оптимизацию распределённых запросов;
- Опыт управления командами от 10 человек в крупных компаниях (предпочтительно Big Tech), включая организацию процессов разработки и миграции;
- Реализованные проекты по миграции хранилищ на OpenSource с внедрением метаданных и governance-решений;
- Продвинутые навыки SQL (оконные функции, партиционирование) и опыт построения ETL-пайплайнов (AirFlow, DBT);
- Практический опыт разработки на Python (ООП, AirFlow операторы) с глубоким пониманием MPP-систем.
Будет плюсом:
- Опыт работы с Trino, AirFlow, ClickHouse, Spark.