Чем предстоит заниматься
- работать с данными: чтение, парсинг данных;
- подготовка таблиц с данными для дальнейшего использования backend;
- написание скриптов, sql запросов для реализации алгоритмов в клике и построения дашбордов (bi, superset);
- умение создавать ml модели обучения на данных (будет преимуществом).
Требования
- уверенное владение Python и SQL;
- опыт работы с Spark, Hadoop, Kafka, Clickhouse, S3 (Ceph, Minio);
- опыт написание DAG-ов для Airflow;
- опыт работы с Docker и K8S;
- навыки работы с Linux;
- навыки работы с Git.