Чем предстоит заниматься:
- Выбор оптимальных инструментов исходя из специфики данных и реализация процессов их хранения, обработки и обслуживания
- Работа с Jira: ведение задач, управление статусами и связями между задачами.
- Поддержка технической и бизнес-команд: обработка заявок на поддержку существующих потоков данных или разработку новых, заведение и контроль исполнения заявок внутренних команд.
- Поддержка команды в систематизации и автоматизации процессов.
- Взаимодействие с разработчиками и тестировщиками для уточнения технических ограничений и требований.
- Обеспечение прозрачности статуса технических задач и процессов для всей команды.
Требования:
- Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
- Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации).
- Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity).
- Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, cdc)
- Опыт заведения и сопровождения заявок в сервис-деске.
- Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, cdc) c учетом их характеристик (3V+).
- Умение структурировать информацию, работать с требованиями, документировать технические решения.
- Русский язык - свободно, английский - на уровне чтения и написания технической документации.
- Технологический стек
- DBMS
- Classic data: Postgres, MSSQL Stack
- Modern data: Redis, Cassandra, Clickhouse
- Data Flow Tools
- Low Latency: Apache Kafka, Apache Flink, etc
- Medium / High Latency: Apache Airflow, Apache NiFi, Apache Spark
- Data Lake: Apache Paimon, Apache Iceberg
- Ожидаемый результат работы
- В Confluence ведется актуальная техническая документация (архитектура, настройки, тех. процессы, инструкции).
- Все технические запросы, инциденты и обращения оформлены, зафиксированы и отслеживаются.
- Выбран, сконфигурирован и функционирует корректно целевой стек инструментов по обработке данных (при участии смежных команды компании).
- Команда имеет полное представление о текущем статусе технических задач и окружений.
- Участие в регулярных синках с технической командой и при необходимости взаимодействуете с внешними подрядчиками.