Мечтай о большем с Napoleon IT Мы — не просто IT-компания, а место, в котором искусственный интеллект объединяется с человеческим. Мы — это более 250 сотрудников, 3 офиса в России, 3 разных направления развития: заказная разработка, outstaffing, собственные продукты. Помимо уже существующих продуктов и решений на основе AI, мы активно развиваем разработку с использованием технологий LLM и Generative AI. Мы строим мультиагентные системы и платформенные решения для брендов, ритейла и маркетплейсов. Мы ищем Data Engineer , который будет работать на внешних проектах наших клиентов (формат аутстаффинга) , включая проекты в банковском и финансовом секторе с высокими требованиями к надежности, безопасности и обработке больших объемов данных.
- Разработка ETL на Apache Spark (Java стек); • Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse); • Разработка витрин данных в Greenplum и ClickHouse; • Оркестрация ETL-процессов; • Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль); • Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset;
Стек технологий : HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana Обязательное наличие опыта разработки, можно не владеть java, но иметь опыт со Spark (мы готов обучить Java, но важно, чтобы был опыт с pyspark); • Опыт работы с Apache Spark от 1 года; • Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет; • Опыт работы с Hadoop (HDFS, Hive); • Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных; • Опыт оптимизации ETL-пайплайнов и SQL кода; • Продвинутые знания SQL; • Понимание принципов работы распределенных систем; • Готовность осваивать Java для использования Spark. Будет плюсом: Опыт разработки на Java; Опыт работы в проектах, связанных с миграцией данных или BI-платформ; Опыт работы в банковской сфере, понимание бизнес домена; Опыт работы в крупных проектах с высокими требованиями к надежности.
Показать как в источнике
Data Engineer (Middle)
Мечтай о большем с Napoleon IT Мы — не просто IT-компания, а место, в котором искусственный интеллект объединяется с человеческим. Мы — это более 250 сотрудников, 3 офиса в России, 3 разных направления развития: заказная разработка, outstaffing, собственные продукты. Помимо уже существующих продуктов и решений на основе AI, мы активно развиваем разработку с использованием технологий LLM и Generative AI. Мы строим мультиагентные системы и платформенные решения для брендов, ритейла и маркетплейсов. Мы ищем Data Engineer , который будет работать на внешних проектах наших клиентов (формат аутстаффинга) , включая проекты в банковском и финансовом секторе с высокими требованиями к надежности, безопасности и обработке больших объемов данных.
• Разработка ETL на Apache Spark (Java стек); • Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse); • Разработка витрин данных в Greenplum и ClickHouse; • Оркестрация ETL-процессов; • Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль); • Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset;
Стек технологий : HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana Обязательное наличие опыта разработки, можно не владеть java, но иметь опыт со Spark (мы готов обучить Java, но важно, чтобы был опыт с pyspark); • Опыт работы с Apache Spark от 1 года; • Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет; • Опыт работы с Hadoop (HDFS, Hive); • Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных; • Опыт оптимизации ETL-пайплайнов и SQL кода; • Продвинутые знания SQL; • Понимание принципов работы распределенных систем; • Готовность осваивать Java для использования Spark. Будет плюсом: Опыт разработки на Java; Опыт работы в проектах, связанных с миграцией данных или BI-платформ; Опыт работы в банковской сфере, понимание бизнес домена; Опыт работы в крупных проектах с высокими требованиями к надежности.
Формат работы: гибрид в Москве на Вавилова, на старте 3 дня и более в офисе, далее опционально; Гибкие варианты сотрудничества; Индивидуальный план развития с возможностью освоения новых технологий; Компенсацию расходов на покупку профессиональной литературы; Доступ к курсам нашей объединенной IT-школы GIGASCHOOL.