fokcus

Data Engineer (Python + Spark)

X5 · Москва · офис · полная

intern
Свежая вакансия Появилась 6 дн назад

Обязанности

  • Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
  • Настраивать хранение и доступность данных в DWH
  • Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
  • Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
  • Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

Профессиональные навыки

  • PySpark{2,3} / Spark SQL
  • Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum
  • Airflow
  • Python3
  • Docker, YARN / k8s
  • pytest

Навыки

PythonPySparkSpark SQLHadoopHiveTrinoS3clickhousepostgresgreenplumAirflowDockerYARNk8spytest
Показать как в источнике 
❗️Data Engineer (Python + Spark)❗️

📍Локация: Офис (Москва)
🧳 Компания: X5
📊 Грейд: Intern
💵 ЗП: По договоренности
⏱ Занятость: Полная

Обязанности:
• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

Профессиональные навыки:
• PySpark{2,3} / Spark SQL
• Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum
• Airflow
• Python3
• Docker, YARN / k8s
• pytest

🌐 Отправлять резюме: 👉тут
Пожаловаться

Похожие вакансии