Чем предстоит заниматься:
- Разработка и поддержка горячего хранилища данных: создание и доработка инфраструктуры для хранения и обработки данных, необходимых для работы диалогового ассистента;
- Улучшение системы логгирования: внедрение механизмов сбора и обработки данных о взаимодействиях пользователей с ассистентом для последующего анализа;
- ETL-процессы: проектирование и разработка ETL-процессов, включая очистку и нормализацию данных, создание витрин данных и feature engineering;
- Анализ данных: работа с большими объемами структурированных и неструктурированных данных, таких как тексты диалогов, метаданные сеансов и логи системы;
- Проведение А/В-тестов: разработка и проведение экспериментов для оценки нового функционала ассистента, анализ результатов с применением статистических тестов;
- Определение и мониторинг KPI: определение ключевых метрик эффективности работы ассистента, мониторинг показателей и предоставление рекомендаций по их улучшению;
- Сегментация аудитории: определение подгрупп клиентов на основе их предпочтений и поведения, разработка стратегий для каждой из групп;
- Взаимодействие с Data Science командой: плотная работа с коллегами для улучшения моделей и алгоритмов, используемых в работе ассистента.
Требования:
- Уверенные знания Python: опыт работы с библиотеками анализа данных (Pandas, Pyspark, scikit-learn);
- Продвинутые знания SQL: опыт работы с реляционными базами данных (Postgres, ClickHouse, GreenPlum, Hadoop);
- Опыт прототипирования таблиц: создание таблиц и витрин данных с нуля, от уровня сырых данных до бизнес-витрин;
- Знания в области А/Б-тестирования: понимание принципов проведения тестов и анализа их результатов;
- Опыт работы с ETL: умение проектировать и оптимизировать процессы извлечения, трансформации и загрузки данных.