Чем предстоит заниматься:
- Структурировать потоки данных.
- Участвовать в проектах по созданию хранилищ данных.
- Создавать централизованную и прозрачную обработку данных.
- Загружать данные из различных источников в Hadoop.
- Обрабатывать полученные данные современными программными продуктами и фреймворками.
- Реализовывать витрины данных для ключевых бизнес‑доменов компании.
- Разрабатывать внутренние фреймворки для обработки данных.
- Передавать разработки в эксплуатацию, ставить на мониторинг, реализовывать автоматические тесты.
- Готовить техническую документацию.
- Участвовать в тестировании и сдаче разработанных модулей бизнес-заказчикам.
- Участвовать в RnD-проектах.
Требования:
- Высшее образование.
- Опыт работы с: (Hadoop, Spark & Spark Streaming, Hive, Docker)
- Знание SQL, Python, Scala
- Опыт работы с системами контроля версий(Git)
- Умение организовать процесс загрузки, обработки и доставки обработанных данных конечным потребителям
- Умение компетентно общаться по тематикам теорий алгоритмов, баз данных, систем и основ информационной безопасности.
- Ответственность за конечный результат.
- Знаешь Apache Airflow, Kubernetes, GitLab, Scala FP библиотеки (Cats, Zio) - будет плюсом.