Чем предстоит заниматься:
- Разработка функционала загрузки в хранилище данных, расчета витрин с целью предоставления данных пользователям в виде экспортных представлений, отчетных форм, средств визуализации BI Форсайт.
- Организация процессов поставки данных, настройка интеграции и создания витрин данных.Разработка новых и доработка уже существующих интеграционных процессов в части: расширения атрибутивного состава интеграционного процесса; повышения детализации данных; изменения инструмента реализации интеграционного процесса; изменения системы источника.
- Выстраивание pipeline по сбору и обработки данных.
- Проектирование и разработка ETL-потоков данных, обработка и хранение информационных массивов.
- Участие в подготовке технической документации (S2T, сайзинг и т.д.).
- Формирование и согласование отчетности в процессе управления технологическими задачами.
Требования:
- Опыт работы в роли Data Engineer не менее 2 лет.
- Опыт работы от 2х лет в финансовом секторе: Банки, страховые компании, финансовые организации (биржа, депозитарии, управляющие компании, брокеры).
- Опыт реализации ИТ задач от 2 лет (автоматизация процессов, доработка и развитие хранилищ данных).
- Понимание принципов и знание методологии построения хранилищ данных.
- Опыт проектирования витрин данных и хранилищ данных.
- Знание типовой инфраструктуры DWH.
- Опыт работы с реляционными базами данных.
- Понимание ETL/ELT процессов.
- Чтение плана выполнения запросов.
- Опыт работы с Apache Airflow, знание Python.
- Опыт работы c CI/CD.
- Опыт работы с ArenadataDB, PostgreSQL.
- Понимание принципов CDC.
- Отличное знание SQL, опыт оптимизации запросов.
- Умение читать и разбираться в реализации чужого кода.
- Готовность работать на территории РФ.
- Оконченное высшее либо среднее специальное образование.