fokcus

Инженер данных

РОССИЙСКОЕ ОБЩЕСТВО "ЗНАНИЕ" · Город Москва

250 000 — 270 000 ₽

Опубликовано 14 дн назад

Как распознать мошенников

Настоящий работодатель не просит войти через iCloud или Apple ID, прислать коды из SMS, установить программу для «тестового задания», перевести деньги или оплатить обучение. Если просят — это не работа.

Уже не новая Висит 14 дн назад. Часто такие уже закрыли, но объявление не сняли

Релевантный опыт работы Data Engineer / Analytics Engineer / SQL Developer от 3-х лет. Уверенное владение SQL, понимание особенностей строчных и колоночных баз данных. Знание Python на уровне pandas/скриптов. Опыт оптимизации ClickHouse под BI-нагрузку. Знание основ математической статистики. Умение самостоятельно разбираться в бизнес-процессе, искать слабые стороны и придумывать решения.

Развивать новое корпоративное хранилище данных на ClickHouse. Проектировать архитектуру таблиц, слоев данных и витрин.Подключать новые источники данных.Актуализировать загрузки при изменениях в существующих источниках. Разрабатывать и поддерживать ETL/ELT-процессы в Airflow. Использовать dbt для хранения логики трансформаций, документации и воспроизводимости КХД. Создавать витрины данных для BI-дашбордов в DataLens. Поддерживать существующие пайплайны и витрины и оптимизировать SQL-запросы и существующие скрипты. Настраивать проверки качества данных, алерты и мониторинг. Работать с проблемами дублей, NULL, расхождений между источниками, ошибок в справочниках и задержек загрузок. Вести документацию по структуре и содержимому данных в КХД. Взаимодействовать с аналитиками, backend-разработчиками и DevOps.

Навыки

Показать как в источнике
Инженер данных

Релевантный опыт работы Data Engineer / Analytics Engineer / SQL Developer от 3-х лет. Уверенное владение SQL, понимание особенностей строчных и колоночных баз данных. Знание Python на уровне pandas/скриптов. Опыт оптимизации ClickHouse под BI-нагрузку. Знание основ математической статистики. Умение самостоятельно разбираться в бизнес-процессе, искать слабые стороны и придумывать решения.

Развивать новое корпоративное хранилище данных на ClickHouse. Проектировать архитектуру таблиц, слоев данных и витрин.Подключать новые источники данных.Актуализировать загрузки при изменениях в существующих источниках. Разрабатывать и поддерживать ETL/ELT-процессы в Airflow. Использовать dbt для хранения логики трансформаций, документации и воспроизводимости КХД. Создавать витрины данных для BI-дашбордов в DataLens. Поддерживать существующие пайплайны и витрины и оптимизировать SQL-запросы и существующие скрипты. Настраивать проверки качества данных, алерты и мониторинг. Работать с проблемами дублей, NULL, расхождений между источниками, ошибок в справочниках и задержек загрузок. Вести документацию по структуре и содержимому данных в КХД. Взаимодействовать с аналитиками, backend-разработчиками и DevOps.

Похожие вакансии