Чем предстоит заниматься
- Разрабатывать и поддерживать процессы по обработке и поставке данных для команд аналитики и ML;
- Выявлять и собирать требования к существующим и новым данным с последующим формированием конкретного заказа в команду разработки;
- Сопровождать выполнение заказов по поставке данных на всех этапах, уточняя требования и проверяя результат
Требования
- Имеете опыт работы DWH инженером
- Имеете опыт работы с экосистемой Hadoop (или другой системой обработки больших данных), в частности с Airflow, Spark и HDFS
- Умеете составлять сложные SQL-запросы, программируете на Python и разбираетесь в парадигме MapReduce;
- Умеете работать с git и разрабатывать код в команде из нескольких человек
- Знаете основы работы с операционными системами на базе Unix/Linux
- Можете быстро разобраться в плохо формализованной задаче, сформулировать ее и выделить главное;
- Способны вести несколько проектов одновременно и самостоятельно расставлять приоритеты
Будет плюсом
- опыт работы в смежных предметных областях;
- опыт работы с ClickHouse, Superset, Jupyter;
- базовые навыки в машинном обучении.