Чем предстоит заниматься:
- реализация сервисов потоковой (near-realtime) обработки данных и REST API для доступа к данным;
- разработка ETL процессов и компонентов ETL-фреймворка;
- участие в развитии процессов и фрэймворков команды разработки.
Требования:
- опыт разработки с использованием Apache Spark;
- опыт разработки на Java, Scala;
- опыт и навыки работы с реляционными базами данных. Уверенные знания по нереляционным и распределенным хранилищам и базам данных;
- знания базовых алгоритмов и структур данных.