Data Engineer in QA в команду аналитической платформы данных
ГородМосква
НаправлениеИнформационные технологии
КомандаAnalytical Data Platform
Дата публикации22.08.2022
Нажимайте смело — отклик произойдет только на следующем шаге

Data Engineer in QA в команду аналитической платформы данных

Наша команда занимается развитием централизованной Аналитической Платформы Данных.
Analytical Data Platform включает в себя Data Lake (Hadoop) и аналитическое DWH (GreenPlum).
В рамках Data Lake решаем вопрос по стандартизации и автоматизации разработки загрузки/обработки "сырых" данных.
В рамках DWH помогаем в консолидации и структурировании "сырых" данных в единую корпоративную модель.
Мы отвечаем за логику загрузки данных в бизнес-слой DWH и качество данных в нем, а также предоставляем удобные инструменты для работы с Платформой.
Перед нами стоит задача:
  • по разработке framework-ов, которые позволят автоматизировать процессы профилирования данных, тестирования (нагрузочного, функционального, регрессионного) и позволят пользователям доверять нашим данным;
  • по наполнению тестовых сред данными (генерации тестовых данных), необходимыми для процесса разработки и тестирования.
Ты - наш идеальный кандидат, если:
  • тебе нравится работать с хранилищами и быть частью крутого проекта;
  • ты готов взаимодействовать с множеством команд и воплощать agile-подход в крупной организации;
  • у тебя системное мышление;
  • ты умеешь быстро внедрять оптимальные решения;
  • в целом очень любишь развиваться сам и развивать экосистему вокруг себя.
Обязанности
Чем предстоит заниматься:
  • разработка framework-а для анализа качества данных и встраивание в текущие ETL-процессы;
  • внедрение практик оценки качества данных в процессы разработки;
  • исследование и анализ информационных потоков;
  • участие в проектирование моделей данных (витрин);
  • поддержка 3-й линии, разбор инцидентов и исправление ошибок;
  • создание стратегии тестирования;
  • создание/поддержка dq фреймворка автотестирования;
  • написание автотестов, контроль уровня покрытия автотестами;
  • планирование и внедрение релизов;
  • координация работ по тестированию и внедрению релизов совместно со смежными командами;
  • управление дефектами, рисками, решение спорных вопросов по релизам.
Технический бэкграунд:
  • знание SQL на продвинутом уровне;
  • опыт оптимизации запросов;
  • опыт работы с любой из "классических" РСУБД в качестве разработчика;
  • опыт написания кода на Python или любом другом языке программирования общего назначения;
  • опыт разработки/внедрения систем класса DWH, понимание концепции хранилищ данных;
  • опыт в разработке сложных ETL процессов;
  • имеешь опыт работы с Airflow или любым другим оркестратором;
  • опыт написания прозрачного читающегося кода с разделением его на классы, применением паттернов;
  • опыт работы с распределенными СУБД (MPP), в т.ч. с Greenplum является большим преимуществом;
  • знание технологий Big Data (Hadoop, Hive, и т.п.) является преимуществом.
Что предлагаем:
  • официальное трудоустройство;
  • удаленный или гибридный формат работы;
  • возможность профессионального и карьерного роста;
  • высокий уровень свободы и ответственности за результат;
  • атмосферу развития, вдохновленную принципами Agile;
  • команду профессионалов, готовых делиться опытом;
  • комфортный офис всего в одной минуте пешком от станции метро «Технопарк»;
  • социальный пакет, включающий ДМС;
  • доплату по больничным до 14 дней в год,
  • доплату к отпускам, взятым в январе и мае;
  • льготные условия на продукты банка, программу корпоративных скидок, корпоративный пенсионный план и многое другое;
  • обучение в собственной ИТ-академии + внешние курсы и конференции;
  • 10 оплачиваемых отгулов в год.