Чего команда делаем продуктового:
- Сервис, который в режиме реального времени анализирует диалог двух людей и подсказывает одному из них как вести коммуникацию более эффективно.
По архитектуре:
Будет куча локальных клиентов, которые будут слать в DS пайплайн поток сообщений, который команда будет обрабатывать и подхоранивать, а потом отсылать на бэк результат обработки аудио. Также будет еще блок доп фичей над этими данными (уже в оффлайне). И еще куча сайдовых вещей и интеграций. Проект большой и команде очень нужна хорошая скорость.
Стек:
- Docker
- vllm
- pytorch
- faster-whisper
- openai
Будет плюсом:
- kafka
- redis
- dishka (хотя бы на уровне "слышал")
Из ближайших задач:
- Запустить и залидировать серию экспериментов с промптами и несколькими LLM пайпами
- Построить пайплайн валидации для всего продукта
- Формализовать процесс работы с данными
- Переехать на triton inference