fokcus

DevOps Engineer (Data Platform & OT Integration)

ДИЭНЭЙ · удалённо

Свежая вакансия Появилась 21 дн назад

Обязанности

  • Развертывание и администрирование компонентов Lakehouse/Streamhouse: Apache Iceberg, Apache Paimon, MinIO (S3), Apache Spark, Apache Flink, StarRocks/Trino.
  • Настройка шлюзов для сбора данных с промышленных датчиков и контроллеров (OPC UA, MQTT), обеспечение доставки данных в Kafka.
  • Настройка процессов Change Data Capture (Debezium/Kafka Connect) для синхронизации данных из ERP/CRM.
  • Управление кластерами Kubernetes, разработка Helm-чартов, настройка GitOps-процессов.
  • Построение CI/CD пайплайнов для Data-сервисов, автоматизация тестирования конфигураций.
  • Организация локальных репозиториев, настройка прокси, автоматизация деплоя в изолированных контурах.
  • Интеграция с HashiCorp Vault для управления секретами, настройка мониторинга (Prometheus/Grafana) для Big Data-компонентов.

Требования

  • Опыт от 5 лет в роли DevOps SRE.
  • Глубокое понимание Kubernetes, опыт запуска Big Data-задач в K8s через Operators.
  • Практический опыт с Apache Spark, Flink, Kafka, понимание Apache Iceberg или Paimon, опыт с S3-совместимыми хранилищами.
  • Опыт построения CI/CD пайплайнов в Jenkins, знание Terraform и Ansible.
  • Уверенное знание Linux, сетевых протоколов TCP/IP, HTTP, TLS.
  • Опыт настройки мониторинга распределённых систем (Prometheus, Grafana, Loki/ELK).
  • Знание Git, опыт работы с GitLab, Jira, Confluence.
  • Английский для чтения технической документации (B1+).

Плюсом

  • Опыт с Apache StarRocks или Trino.
  • Опыт настройки CDC (Debezium) и Kafka Connect.
  • Опыт работы в изолированных (Air-Gapped) средах.
  • Знание протоколов промышленной автоматизации (OPC UA, MQTT).
  • Опыт работы с Apache Airflow.

Навыки

Apache IcebergApache PaimonMinIOApache SparkApache FlinkStarRocksTrinoOPC UAMQTTKafkaDebeziumKafka ConnectKubernetesHelmGitOpsJenkinsTerraformAnsibleLinuxBashPythonPrometheusGrafanaLokiELKGitGitLabJiraConfluenceApache Airflow
Показать как в источнике 
Публикатор: Елена
Обсуждение: 
#вакансия 
Компания: ДИЭНЭЙ (проект табачной компании)
Формат: Удаленно (Оформление ИП/СЗ)
Вилка 250 000-270 000

DevOps Engineer (Data Platform & OT Integration)

Проект: Построение платформы Data Ocean (Lakehouse/Streamhouse) и интеграция с производственными OT-системами.
Проект предполагает развертывание инфраструктуры в изолированных контурах (без доступа в интернет) и интеграцию с промышленными системами (OPC UA, MQTT). Нам нужен инженер, который сможет не просто поддерживать инфраструктуру, а выстроить надежный, автоматизированный и безопасный фундамент для Data Engineering и OT-интеграции.

Ключевые задачи:
Построение Data-платформы: Развертывание и администрирование компонентов Lakehouse/Streamhouse: Apache Iceberg, Apache Paimon, MinIO (S3), Apache Spark, Apache Flink, StarRocks/Trino.
Интеграция с OT-системами: Настройка шлюзов для сбора данных с промышленных датчиков и контроллеров (OPC UA, MQTT), обеспечение надежной доставки данных в Kafka.
CDC и ETL: Настройка процессов Change Data Capture (Debezium/Kafka Connect) для синхронизации данных из ERP/CRM систем.
Kubernetes & GitOps: Управление кластерами Kubernetes (в т.ч. Edge-решениями, если потребуется), разработка Helm-чартов, настройка GitOps-процессов.
CI/CD для Data-инфраструктуры: Построение пайплайнов для сборки и деплоя Data-сервисов, автоматизация тестирования конфигураций.
Работа в изолированных средах: Организация локальных репозиториев (Nexus), настройка прокси-серверов, автоматизация деплоя в контурах без интернета.
Безопасность и Мониторинг: Интеграция с HashiCorp Vault для управления секретами, настройка мониторинга (Prometheus/Grafana) для Big Data-компонентов (метрики Spark/Flink, Kafka Lag, состояние Iceberg).

Требования:
Опыт работы: от 5 лет в роли DevOps SRE.
Kubernetes: Глубокое понимание архитектуры K8s (Pods, Deployments, StatefulSets, Probes, Network Policies). Опыт запуска Big Data-задач (Spark/Flink) в Kubernetes через Operators.
Data Stack: Практический опыт работы с Apache Spark, Apache Flink, Apache Kafka. Понимание принципов работы Apache Iceberg или Apache Paimon. Опыт работы с S3-совместимыми хранилищами (MinIO).
CI/CD & IaC: Опыт построения пайплайнов в Jenkins. Знание Terraform и Ansible.
Linux & Сети: Уверенное знание Linux (администрирование, диагностика, скриптинг на Bash/Python). Понимание сетевых протоколов (TCP/IP, HTTP, TLS).
Мониторинг: Опыт настройки мониторинга для распределенных систем (Prometheus, Grafana, Loki/ELK).
Знание Git, опыт работы с GitLab/Jira/Confluence.
Английский: Уровень чтения технической документации (B1+).

Будет большим плюсом:
Опыт работы с Apache StarRocks или Trino.
Опыт настройки CDC (Debezium) и работы с Kafka Connect.
Опыт работы в изолированных (Air-Gapped) средах.
Знание протоколов промышленной автоматизации (OPC UA, MQTT).
Опыт работы с Apache Airflow.

@shesell

@DevOpsSRE_Jobs
Пожаловаться

Похожие вакансии