Чем предстоит заниматься:
- Писать алгоритмы обработки больших данных (несколько сотен миллионов строк в таблице).
- Исследовать и подготавливать данные.
- Оптимизировать текущие вычисления.
- Заниматься продуктивизацией алгоритмов и их сопровождением.
- Делать ревью кода и анализ инцидентов.
Требования:
- Наличие опыта в роли Data engineer или Data analyst от 2х лет.
- Высшее математическое или техническое образование.
- Отличное владение Python, PySpark, SQL
- Знание устройства Hadoop, HDFS, Hive.
- Опыт работы с системами контроля версий (Git).