Чем предстоит заниматься:
- Разрабатывать алгоритмы выявления признаков мошенничества;
- Формировать требования к итоговым параметрам, витринам и справочникам (взаимодействовать с владельцем продукта, data engineer-ами, разработчиками, data scientist-ами);
- Участвовать в разработке и внедрении моделей машинного обучения в проектах по борьбе с мошенничеством;
- Проводить анализ различных источников данных, заниматься генерацией признаков для построения модели;
- Участвовать в сборе требований, согласовывать ТЗ;
- Сопровождать разработку на всех этапах (ставить задачи, консультировать, принимать результаты работы);
- Принимать участие в подготовке и согласовании проектной документации на разработку;
- Формулировать и проверять гипотезы, проводить R&D, определять критерии оценки результатов исследований и проверок;
- Заниматься комплексным анализом данных и выявлением закономерностей и тенденций;
- Изучать предметную область, новые способы мошенничества, методы борьбы с ними, а также генерировать новые идеи по развитию продукта в соответствии с изменениями в индустрии;
- Изучать новые технологии по работе с данными.
Требования:
- Опыт работы аналитиком данных от 2х лет;
- Наличие опыта по сбору датасетов для ML-моделей;
- Уверенное знание SQL (знание оконных функций, CTE, понимание физических типов join, умение читать и оптимизировать план запроса);
- Опыт работы со Spark, знание Spark DataFrame API (PySpark или Spark Scala) — можете с их помощью самостоятельно собрать и обработать данные, умение использовать Spark UI для контроля и оптимизации запросов;
- Опыт работы с инструментами экосистемы Hadoop (HIVE, Spark, HDFS, менеджер ресурсов YARN), понимание как устроена HDFS;
- Опыт разработки на Python, знание одной из сред разработки: VSCode/PyCharm (циклы, функции, comprehension, знание библиотек Pandas, Sklearn, Matplotlib);
- Знание основ Bash, Linux, умение работать с консолью;
- Знание системы контроля версионности Git, Gitlab, навыки Code Review;
- Знание базовых принципов статистики;
- Понимание цикла решения ML задачи: предобработка данных, выбор алгоритмов и тюнинг их параметров, оценка качества моделей;
- Опыт разработки функциональных требований, технических заданий, проектной документации;
- Умение транслировать бизнес-задачу на язык анализа данных, подобрать соответствующий алгоритм с учетом требований и ограничений, интерпретировать результат;
- Готовность общаться с бизнесом и отвечать end-to-end за задачу;
- Желание заниматься интересным продуктом, который будет приносить пользу обществу.