Чем предстоит заниматься:
- Проектирование и разработка витрин данных (Hive-SQL, Spark) с погружением в бизнес-процессы и аналитику данных.
- Уточнение требований заказчика, системный анализ, изучение бизнес-процессов систем источников.
- Доработка существующих витрин.
- Автоматизация процессов обновления данных (AirFlow).
- 3 линия поддержки.
- Тестирование нового функционала и витрин в DataLake
- Выстраивание процессов Data Governance на инфраструктуре Hadoop совместно с CDO Банка.
- Контроль качества данных в хранилище (Hadoop) – постановка задач, анализ.
- Предоставление экспертной поддержки внутренним потребителям (data analysts,data scientists).
Требования:
- SQL: вложенные запросы, оконные функции, опыт написания функций / процедур
- Понимание основных концепций DWH
- Опыт работы с excel или аналог, понимание сводных таблиц
- Понимание базовых команд Git и основных принципов работы
- Понимание основных банковских процессов (достаточно одного): кредитование, процессинг, депозиты или других
- Опыт работы с реляционными и noSQL базами данных
- Опыт работы с различными СУБД в роли разработчика / аналитика витрин данных.