fokcus

Data Engineer

· удалённо

middle
Свежая вакансия Появилась 1 ч назад

Обязанности

  • Сбор требований и анализ источников данных;
  • Разработка, реализация и сопровождение интеграционных потоков и витрин данных;
  • Разработка решений на Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
  • Решение инцидентов и выполнение задач в зоне ответственности;
  • Поддержка и актуализация технической документации;
  • Подготовка отчетности по выполненным задачам.

Требования

  • Знание архитектуры Lakehouse и платформ больших данных;
  • Понимание отличий Big Data/Lakehouse от классических систем хранения;
  • Уверенное знание SQL (индексы, функции, оптимизация, профилирование);
  • Знание Python и/или Java;
  • Опыт с реляционными СУБД (Oracle, PostgreSQL, MySQL, MS SQL и др.);
  • Владение Git;
  • Опыт с DBT, Cosmos, Apache NiFi;
  • Опыт разработки на Apache Spark;
  • Понимание работы Trino;
  • Знание форматов Iceberg, Parquet, Avro;
  • Опыт работы с S3-совместимыми хранилищами (MinIO или аналогами);
  • Опыт работы с системами управления проектами и технической документацией.

Стек

Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop.

Контакт для отклика: @Vika_sysoeva

Навыки

TrinoIcebergS3SparkApache AirflowKafkaCosmosFlinkSQLPythonJavaOraclePostgreSQLMySQLMS SQLGitDBTApache NiFiGreenplumClickHouseHadoop
Показать как в источнике 
#вакансия  #middle  #удаленка 

Ищем Data Engineer

Формат: удаленно
Зарплата: от 200 000 ₽
Срок проекта: длительно

Задачи:
• Сбор требований от бизнес-заказчиков и анализ источников данных;
• Разработка, реализация и сопровождение интеграционных потоков и витрин данных;
• Разработка решений на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
• Оперативное решение инцидентов и выполнение задач в зоне ответственности;
• Поддержка и актуализация технической документации по платформе больших данных;
• Подготовка отчетности по выполненным задачам.

Требования:
✔️ Понимание архитектуры Lakehouse и принципов работы платформ больших данных;
✔️ Понимание отличий Big Data/Lakehouse от классических систем хранения данных;
✔️ Уверенное знание SQL (индексы, функции, оптимизация запросов, профилирование производительности);
✔️ Знание Python и/или Java;
✔️ Опыт работы с реляционными СУБД (Oracle, PostgreSQL, MySQL, MS SQL и др.);
✔️ Уверенное владение Git;
✔️ Опыт работы с DBT, Cosmos, Apache NiFi;
✔️ Опыт разработки на Apache Spark;
✔️ Понимание принципов работы Trino;
✔️ Знание форматов данных Iceberg, Parquet, Avro;
✔️ Опыт работы с S3-совместимыми хранилищами (MinIO или аналогами);
✔️ Опыт работы с системами управления проектами и технической документацией.

Стек:
Greenplum • Trino • Apache Airflow • ClickHouse • Python • Spark • SQL (dbt) • S3 • Hadoop

📩 Отклик: @Vika_sysoeva
Пожаловаться

Похожие вакансии