Data Engineer в команду аналитической платформы данных
ГородМосква
НаправлениеИнформационные технологии
КомандаAnalytical Data Platform
Дата публикации02.08.2022
Нажимайте смело — отклик произойдет только на следующем шаге

Data Engineer в команду аналитической платформы данных

Наша команда занимается развитием централизованной Аналитической платформы данных.
Analytical Data Platform включает в себя Data Lake (Hadoop) и аналитическое DWH (GreenPlum).
В рамках Data Lake мы решаем вопросы стандартизации и автоматизации разработки загрузки/обработки «сырых» данных. В рамках DWH — помогаем в консолидации и структурировании «сырых» данных в единую корпоративную модель.
Мы отвечаем за логику загрузки данных в бизнес-слой DWH и качество данных в нем, а также предоставляем удобные инструменты для работы с платформой. Кроме того, у нас реализуется проект по миграции данных и расчетов из SAS на аналитическое DWH.
Чем предстоит заниматься:
  • принимать участие в стратегическом проекте по миграции данных и расчетов из SAS на аналитическое DWH;
  • разрабатывать ETL-процессы по загрузке данных в Data Lake, перегружать данные в GreenPlum и формировать витрины данных;
  • проводить исследование и анализ информационных потоков;
  • принимать участие в проектировании моделей данных (витрин);
  • обеспечивать поддержку 3-й линии, разбор инцидентов и исправление ошибок.
 
Наши ожидания:
  • знание SQL на продвинутом уровне;
  • опыт оптимизации запросов;
  • опыт работы с любой из «классических» РСУБД в качестве разработчика;
  • опыт написания кода на Python или любом другом языке программирования общего назначения;
  • опыт разработки/внедрения систем класса DWH; понимание концепции хранилищ данных;
  • опыт в разработке сложных ETL-процессов; способность видеть пути автоматизации данных процессов;
  • опыт работы с Airflow или любым другим оркестратором;
  • способность писать прозрачный читающийся код, разделять его на классы, применять паттерны;
  • готовность узнавать много нового и активно развивать навыки по обработке данных;
  • желание работать с хранилищами и быть частью крутого проекта;
  • готовность взаимодействовать с множеством команд и воплощать Agile-подход в крупной организации;
  • системное мышление;
  • умение быстро внедрять оптимальные решения;
  • стремление развиваться и развивать экосистему вокруг себя.

    Будет плюсом:
  • опыт работы с распределенными СУБД (MPP), в том числе с Greenplum;
  • знание технологий Big Data (Hadoop, Hive, и т. п.).
Мы предлагаем:
  • официальное трудоустройство;
  • удаленный или гибридный формат работы;
  • возможность профессионального и карьерного роста;
  • высокий уровень свободы и ответственности за результат;
  • атмосферу развития, вдохновленную принципами Agile;
  • команду профессионалов, готовых делиться опытом;
  • комфортный офис всего в одной минуте пешком от станции метро «Технопарк»;
  • социальный пакет, включающий ДМС;
  • доплату по больничным, корпоративный пенсионный план;
  • льготные условия на продукты банка, программу корпоративных скидок и многое другое;
  • профессиональные обучающие курсы и конференции в России и за рубежом.