Мы в Telegram
Чем предстоит заниматься
- Писать алгоритмы обработки больших данных (несколько сотен миллионов строк в таблице).
- Исследовать и подготавливать данные.
- Оптимизировать текущие вычисления.
- Заниматься продуктивизацией алгоритмов и их сопровождением.
- Делать ревью кода и анализ инцидентов.
Требования
- Наличие опыта в роли Data engineer от 2 лет.
- Высшее математическое или техническое образование.
- Уверенное владение Python, PySpark, SQL.
- Знание устройства Hadoop, HDFS, Hive.
- Опыт работы с системами контроля версий (Git).
Будет плюсом
- Опыт работы с Go .
- Опыт работы с Airflow.
- Опыт работы с DBT.