Senior Data Engineer в команду аналитической платформы данных
ГородМосква
НаправлениеИнформационные технологии
КомандаAnalytical Data Platform
Дата публикации15.07.2022
Нажимайте смело — отклик произойдет только на следующем шаге

Senior Data Engineer в команду аналитической платформы данных

Наша команда занимается развитием централизованной аналитической платформы данных.
Analytical Data Platform включает в себя Data Lake (Hadoop) и аналитическое DWH (Green Plum).
В рамках Data Lake мы решаем вопрос стандартизации и автоматизации разработки загрузки/обработки «сырых» данных. В рамках DWH — помогаем в консолидации и структурировании «сырых» данных в единую корпоративную модель.
Мы отвечаем за логику загрузки данных в бизнес-слой DWH и качество данных в нем, а также предоставляем удобные инструменты для работы с платформой.
У нас также реализуется проект по миграции данных и расчетов из SAS на аналитическое DWH.
Чем предстоит заниматься:
  • участвовать в стратегическом проекте по миграции данных и расчетов на новое аналитическое DWH;
  • разрабатывать ETL-процессы и фреймворки по загрузке данных в Data Lake, перегружать данные в GreenPlum и формировать витрины данных;
  • разрабатывать сервисы управления процессами загрузки;
  • исследовать и анализировать информационные потоки и данные;
  • участвовать в проектировании моделей данных (витрин);
  • заниматься поддержкой 3-й линии, разбирать инциденты и исправлять ошибки;
  • заниматься менторингом, обучением, выстраиванием процессов внутри команды.
Наши ожидания:
  • знание SQL на продвинутом уровне;
  • опыт оптимизации запросов;
  • опыт работы с любой из «классических» РСУБД в качестве разработчика;
  • экспертиза в работе с Greenplum, понимание особенностей MPP-систем и их учет при разработке;
  • опыт разработки/внедрения систем класса DWH, понимание концепции хранилищ данных;
  • опыт в разработке сложных ETL процессов, знакомство с путями автоматизации данных процессов;
  • опыт работы с Airflow или любым другим оркестратором;
  • способность писать код на Python или любом другом языке программирования общего назначения;
  • способность писать прозрачный читающийся код, разделять его на классы, применять паттерны;
  • знание DBT (будет плюсом);
  • знание технологий Big Data: Hadoop, Hive, и т.п. (будет плюсом);
  • интерес к работе с хранилищами и желание быть частью крутого проекта;
  • готовность взаимодействовать со множеством команд и воплощать Agile-подход в крупной организации;
  • системное мышление;
  • умение быстро внедрять оптимальные решения;
  • желание развиваться сам и развивать экосистему вокруг себя.
Мы предлагаем:
  • возможность удаленной работы;
  • комфортный офис всего в одной минуте от станции метро «Технопарк» с собственным спортзалом и кафе;
  • социальный пакет, включающий ДМС, страхование выезжающих за рубеж и многое другое;
  • обмен опытом и знаниями внутри виртуального комьюнити;
  • внешнее и внутреннее обучение, участие в профессиональных конференциях и митапах;
  • доплату до оклада за 14 дней в году по больничному листу;
  • доплату к отпуску в январе и мае;
  • возможность взять отгул (по одному дню), который будет оплачен 10 раз в год;
  • скидки от компаний-партнеров и специальные предложения по банковским продуктам.