Чем предстоит заниматься:
- создание и поддержка многоэтапных ETL-процессов загрузки данных в Datalake из IT-систем Банка для применения в моделях;
- создание и поддержка сложных витрин-предагрегатов и витрин с аналитическими признаками (features) на основании требований хабов аналитики;
- создание и поддержка витрин для мониторинга моделей машинного обучения
- создание и контроль работы проверок КД для крититических элементов данных;
- выполнение функций владельца данных по витринам Datalake, созданных для;
Требования:
- Знание ElasticSearch/OpenSearch;
- Уверенное владение Python (применение ООП, знание стандартных библиотек), SQL(на уровне сложных запросов);
- Опыт разработки решений на Spark ( pyspark), решения задач с REST API;
- Опыт решения задач с сервисами хранения объектов HDFS / S3 / MinIO;
- Владение методологией гибкой разработки, опыт работы с системами контроля версий (BitBucket), JIRA и Confluence;
- Знание основных принципов работы с контейнерами (Docker, Kubernetes)- будет преимуществом;
- Опыт работы на аналогичной должности в технологическом консалтинге / банках / телеком-операторах / IT-интеграторах / крупных технологических компаниях - от 1 года;
- Владение английским языком - читает техническую литературу без словаря.
Будет плюсом:
- понимает процессы Data Goverment, Data Quality
- имеет опыт решения задач с BI-инструментами (PowerBI/Tableau)