Чем предстоит заниматься:
- Определение целевой архитектуры данных и ИИ-сервисов. Формирование принципов, схем и стандартов для MDM, событийного трекинга, Data Governance / Quality и RAG-/ML-платформы на базе Trino + S3, DBT, Superset;
- Проектирование сквозных data-/ML-пайплайнов. Выбор паттернов хранения и обработки, определение зон (raw → core → business → serving), описание схем, lineage, SLA и механизмов self-healing;
- Интегрирование AI-сервисов с бизнес-слоями. Разработка reference-architecture для RAG, классического ML и API-gateway: FastAPI/Triton, feature-store, векторных индексов (FAISS/Qdrant), CI/CD и MLOps;
- Обеспечение масштабируемости и надёжности. Проектирование кластеров Trino, S3-layout, Kubernetes-деплой, кэш-слои, observability (Prometheus/Grafana, OpenTelemetry) и cost-management;
- Совместно с другими руководителями управление технологическим стеком и выбором инструментов. Проведение R&D, PoC, ведение технической дорожной карты, согласование лицензий и budget impact;
- Синхронизирование стейкхолдеров. Консолидация требований продукта, аналитики, безопасности и инфраструктуры; фасилитирование архитектурных комитетов, ревью и threat-modeling;
- Развитие стандартов безопасности и соответствия. Внедрение политики доступа (IAM), шифрование, аудит, GDPR-/PDPL-контроль, процедуры Data Privacy Impact Assessment (DPIA).
Требования:
- От 5 лет опыта в архитектуре данных/BI/ML, из них ≥ 3 года в роли ведущего архитектора или enterprise-архитектора;
- Экспертиза в построении DWH/LDW (Trino/Presto, Hive, Redshift или аналог), объектных хранилищах S3/MinIO, оркестрации DBT/Airflow, а также в паттернах MDM и Data Governance;
- Глубокие знания AI/ML-экосистемы. PyTorch/HuggingFace, MLflow/Kubeflow, методы dense retrieval & reranking, классический ML (XGBoost/LightGBM), принципы RAG и prompt-engineerin;
- Опыт проектирования облачных и контейнерных платформ. Kubernetes/EKS / Openshift, Helm, Terraform, Observability-стек, а также практики DevSecOps и GitOps;
- Понимание информационной безопасности и комплаенса, опыт прохождения внешних аудитов;
- Сильные коммуникативные и лидерские навыки. Умение переводить бизнес-цели в архитектурные решения, вести архитектурные ревью, аргументировать TCO/ROI.