fokcus

Data engineer

AGIMA · Москва · проект

Свежая вакансия Появилась 1 мес назад

Обязанности

  • Разработка и оптимизация сложных SQL-запросов для MPP-баз данных (Greenplum или аналоги: Redshift, Vertica).
  • Работа с PostgreSQL: индексы, транзакции, оконные функции, драйверы.
  • Обработка данных на Python с использованием pandas, psycopg2/SQLAlchemy, boto3, requests.
  • Создание и управление DAG-ами в Apache AirFlow, настройка расписаний, мониторинг и отладка.
  • Реализация ETL-процессов, загрузка CSV и структурированных данных в базы.
  • Работа с S3-совместимыми хранилищами для хранения промежуточных и выходных данных.

Требования

  • Уверенное знание MPP-баз данных.
  • Опыт написания сложных SQL-запросов и понимание принципов партиционирования и distribution keys.
  • Владение Python для обработки данных и работы с БД.
  • Опыт работы с Apache AirFlow.
  • Знание принципов ETL, опыт с Informatica или аналогами будет плюсом.
  • Опыт работы с S3-совместимыми хранилищами.

Условия

  • Работа в Москве.

Навыки

GreenplumRedshiftVerticaSQLPostgreSQLPythonpandaspsycopg2SQLAlchemyboto3requestsApache AirFlowInformaticaTalenddbtSSISCSVS3
Показать как в источнике 
#вакансия #Data #Dataengineer #удаленка #fulltime 

💻 Data engineer

Компания: AGIMA
Проект: МФК
Локация: РФ
Формат работы: удаленно // outstaff
Занятость: full time 
Ставка: 200.000 - 250.000 рублей на руки

Требования:
• опыт работы: опыт от 2 лет опыта на аналогичной позиции
• опыт проектирования потоков загрузки данных и моделирования баз данных
• опыт в проектировании объектов баз данных и архитектуре хранилищ данных (от 3 лет)
• технический стек: языки программирования и библиотеки: Python, уверенное владение MSSQL либо Postgre/Greenplum (аналитические функции, оптимизация запросов). Промышленный ETL-инструментарий (Airflow, Debezium, ClickHouse и аналоги)
• опыт формирования пакетов для передачи данных в БКИ согласно методологии БКИ
• опыт работы с Credit Registry будет преимуществом

Чем предстоит заниматься:
• разработка и оптимизация ETL-процессов: разработка и поддержка процессов загрузки и трансформации данных из мастер-систем (ETL)
• разработка нового и доработка существующего функционала DWH
• оптимизация и рефакторинг существующих решений в контуре DWH
• управление оркестрацией процессов и системой мониторинга: настройка и сопровождение оркестрации процессов, настройка алертинга о событиях выполнения процедур в системы мониторинга и контроля
• создание проектной документации и деталей маппинга данных: подготовка проектной технической документации и формирование детальных спецификаций маппинга данных (Source-to-Target)
• создание отчетных панелей и визуализаций данных: создание объектов бизнес-отчетности и визуализация данных с использованием инструментов SuperSet и PowerB
• взаимодействие со смежными командами и заказчиками

Предлагаем:
•  удаленка по РФ;
•  гибкий график: 5/2 с 10:00 до 19:00 по Москве, но при необходимости часы работы подстроим под вас;
•  теплая атмосфера: клубы по интересам, летний выезд на природу AGIMA Camp и корпоративные вечеринки, куда можно приглашать и свою семью;
•  сильная команда: открытость к решению любых вопросов и поддержка в создании вашего личного бренда для профессионального роста;
•  особые бонусы: бесплатные билеты на культовый забег для IT-специалистов RUNIT;
•  оформление по ГПХ с физлицом.

Для отклика пишите: @katik_nes
Пожаловаться

Похожие вакансии