fokcus

Data engineer

AGIMA · Москва

Свежая вакансия Появилась 1 ч назад

Обязанности

  • Разработка и оптимизация сложных SQL-запросов для MPP-баз данных (Greenplum или аналоги: Redshift, Vertica).
  • Работа с PostgreSQL: индексы, транзакции, оконные функции, драйверы.
  • Обработка данных на Python с использованием pandas, psycopg2/SQLAlchemy, boto3, requests.
  • Создание и управление DAG-ами в Apache AirFlow, настройка расписаний, мониторинг и отладка.
  • Реализация ETL-процессов, загрузка CSV и структурированных данных в базы.
  • Работа с S3-совместимыми хранилищами для хранения промежуточных и выходных данных.

Требования

  • Уверенное знание MPP-баз данных.
  • Опыт написания сложных SQL-запросов и понимание принципов партиционирования и distribution keys.
  • Владение Python для обработки данных и работы с БД.
  • Опыт работы с Apache AirFlow.
  • Знание принципов ETL, опыт с Informatica или аналогами будет плюсом.
  • Опыт работы с S3-совместимыми хранилищами.

Условия

  • Работа в Москве.

Навыки

GreenplumRedshiftVerticaSQLPostgreSQLPythonpandaspsycopg2SQLAlchemyboto3requestsApache AirFlowInformaticaTalenddbtSSISCSVS3
Показать как в источнике 
🔥Data engineer

AGIMA
Москва

Требования: 
✅Уверенное знание MPP-баз данных — Greenplum (или аналогов: Redshift, Vertica).
✅Умение писать сложные SQL-запросы, понимание партиционирования, distribution keys, работы с большими объёмами данных. Знание PostgreSQL: индексы, транзакции, оконные функции, работа pg-драйверами.
✅Уверенное владение Python для задач обработки данных: pandas, psycopg2 / SQLAlchemy для работы с БД, boto3 для Object Storage, requests для работы с REST API. Умение писать читаемый, поддерживаемый код.                                                                              ✅Опыт работы с Apache AirFlow: написание DAG-ов на Python, управление зависимостями, настройка расписаний, мониторинг и отладка.                                                                   ✅Понимание принципов ETL. Опыт работы с Informatica (или аналогами: Talend, dbt, SSIS) будет плюсом. Умение реализовывать загрузку CSV и структурированных данных в БД.                                                                                                                                                                          ✅Опыт работы с S3-совместимыми хранилищами (Yandex Object Storage, AWS S3 и пр.) — загрузка, хранение промежуточных и выходных данных.           

Подробнее о вакансии🔎
Пожаловаться

Похожие вакансии