ГородМосква
НаправлениеИнформационные технологии
КомандаAnalytical Data Platform
Дата публикации15.07.2022
Senior Data Engineer в команду аналитической платформы данных
Наша команда занимается развитием централизованной аналитической платформы данных.
Analytical Data Platform включает в себя Data Lake (Hadoop) и аналитическое DWH (Green Plum).
В рамках Data Lake мы решаем вопрос стандартизации и автоматизации разработки загрузки/обработки «сырых» данных. В рамках DWH — помогаем в консолидации и структурировании «сырых» данных в единую корпоративную модель.
Мы отвечаем за логику загрузки данных в бизнес-слой DWH и качество данных в нем, а также предоставляем удобные инструменты для работы с платформой.
У нас также реализуется проект по миграции данных и расчетов из SAS на аналитическое DWH.
Чем предстоит заниматься:
- участвовать в стратегическом проекте по миграции данных и расчетов на новое аналитическое DWH;
- разрабатывать ETL-процессы и фреймворки по загрузке данных в Data Lake, перегружать данные в GreenPlum и формировать витрины данных;
- разрабатывать сервисы управления процессами загрузки;
- исследовать и анализировать информационные потоки и данные;
- участвовать в проектировании моделей данных (витрин);
- заниматься поддержкой 3-й линии, разбирать инциденты и исправлять ошибки;
- заниматься менторингом, обучением, выстраиванием процессов внутри команды.
Наши ожидания:
- знание SQL на продвинутом уровне;
- опыт оптимизации запросов;
- опыт работы с любой из «классических» РСУБД в качестве разработчика;
- экспертиза в работе с Greenplum, понимание особенностей MPP-систем и их учет при разработке;
- опыт разработки/внедрения систем класса DWH, понимание концепции хранилищ данных;
- опыт в разработке сложных ETL процессов, знакомство с путями автоматизации данных процессов;
- опыт работы с Airflow или любым другим оркестратором;
- способность писать код на Python или любом другом языке программирования общего назначения;
- способность писать прозрачный читающийся код, разделять его на классы, применять паттерны;
- знание DBT (будет плюсом);
- знание технологий Big Data: Hadoop, Hive, и т.п. (будет плюсом);
- интерес к работе с хранилищами и желание быть частью крутого проекта;
- готовность взаимодействовать со множеством команд и воплощать Agile-подход в крупной организации;
- системное мышление;
- умение быстро внедрять оптимальные решения;
- желание развиваться сам и развивать экосистему вокруг себя.
Мы предлагаем:
- возможность удаленной работы;
- комфортный офис всего в одной минуте от станции метро «Технопарк» с собственным спортзалом и кафе;
- социальный пакет, включающий ДМС, страхование выезжающих за рубеж и многое другое;
- обмен опытом и знаниями внутри виртуального комьюнити;
- внешнее и внутреннее обучение, участие в профессиональных конференциях и митапах;
- доплату до оклада за 14 дней в году по больничному листу;
- доплату к отпуску в январе и мае;
- возможность взять отгул (по одному дню), который будет оплачен 10 раз в год;
- скидки от компаний-партнеров и специальные предложения по банковским продуктам.