Senior Data Engineer в команду аналитической платформы данных

Наша команда занимается развитием централизованной аналитической платформы данных.

Analytical Data Platform включает в себя Data Lake (Hadoop) и аналитическое DWH (Green Plum).

В рамках Data Lake мы решаем вопрос стандартизации и автоматизации разработки загрузки/обработки «сырых» данных. В рамках DWH — помогаем в консолидации и структурировании «сырых» данных в единую корпоративную модель.

Мы отвечаем за логику загрузки данных в бизнес-слой DWH и качество данных в нем, а также предоставляем удобные инструменты для работы с платформой.

У нас также реализуется проект по миграции данных и расчетов из SAS на аналитическое DWH.

Чем предстоит заниматься:

участвовать в стратегическом проекте по миграции данных и расчетов на новое аналитическое DWH;
разрабатывать ETL-процессы и фреймворки по загрузке данных в Data Lake, перегружать данные в GreenPlum и формировать витрины данных;
разрабатывать сервисы управления процессами загрузки;
исследовать и анализировать информационные потоки и данные;
участвовать в проектировании моделей данных (витрин);
заниматься поддержкой 3-й линии, разбирать инциденты и исправлять ошибки;
заниматься менторингом, обучением, выстраиванием процессов внутри команды.

Наши ожидания:

знание SQL на продвинутом уровне;
опыт оптимизации запросов;
опыт работы с любой из «классических» РСУБД в качестве разработчика;
экспертиза в работе с Greenplum, понимание особенностей MPP-систем и их учет при разработке;
опыт разработки/внедрения систем класса DWH, понимание концепции хранилищ данных;
опыт в разработке сложных ETL процессов, знакомство с путями автоматизации данных процессов;
опыт работы с Airflow или любым другим оркестратором;
способность писать код на Python или любом другом языке программирования общего назначения;
способность писать прозрачный читающийся код, разделять его на классы, применять паттерны;
знание DBT (будет плюсом);
знание технологий Big Data: Hadoop, Hive, и т.п. (будет плюсом);
интерес к работе с хранилищами и желание быть частью крутого проекта;
готовность взаимодействовать со множеством команд и воплощать Agile-подход в крупной организации;
системное мышление;
умение быстро внедрять оптимальные решения;
желание развиваться сам и развивать экосистему вокруг себя.

Мы предлагаем:

возможность удаленной работы;
комфортный офис всего в одной минуте от станции метро «Технопарк» с собственным спортзалом и кафе;
социальный пакет, включающий ДМС, страхование выезжающих за рубеж и многое другое;
обмен опытом и знаниями внутри виртуального комьюнити;
внешнее и внутреннее обучение, участие в профессиональных конференциях и митапах;
доплату до оклада за 14 дней в году по больничному листу;
доплату к отпуску в январе и мае;
возможность взять отгул (по одному дню), который будет оплачен 10 раз в год;
скидки от компаний-партнеров и специальные предложения по банковским продуктам.