Data Engineer в команду Operational DWH
НаправлениеПлатформа данных
КомандаOperational DWH
Дата публикации15.03.2023
Нажимайте смело — отклик произойдет только на следующем шаге

Data Engineer в команду Operational DWH

Ищем Data Engineer'а, который станет частью команды аналитической платформы данных.
Пользователи нашей платформы — это разработчики из продуктовых команд, Data Scientist'ы и аналитики.
Мы хотим создать стабильный, простой в использовании продукт, который станет надежным помощником для решения бизнес-задач любого уровня сложности.

Наш текущий стек:
RHEL, Hadoop, Hive, Spark, Greenplum, PostgreSQL, Airfolw, NiFi, Zabbix, Jira/Confluence, Docker, GitLab, Grafana, GraphQL.
Что делает команда и что предстоит тебе
  • мы разрабатываем с нуля новое хранилище данных для банка на MPP Greenplum. В качестве модели используем локальную модификацию DV2.0;
  • перед нашей командой стоит задача создать простой и удобный фреймворк для самостоятельной загрузки данных пользователями;
  • мы разрабатываем платформу таким образом, чтобы пользователю не приходилось писать код, для добавления новой загрузки, достаточно заполнить метаданные.
Эта вакансия для тебя, если ты
  • уверенно пользуешься SQL (join’ы, агрегатные функции, подзапросы и оконные функции);
  • понимаешь как работают реляционные базы данных, интересуешься архитектурой СУБД, понимаешь основную механику работы БД;
  • хорошо владеешь Python (стандартные библиотеки + jinja, psycopg2 и т.п.);
  • имеешь опыт разработки/внедрения систем класса DWH и понимаешь концепцию хранилищ данных;
  • имеешь опыт в разработке сложных ETL процессов;
  • имеешь опыт работы с Airflow или любым другим оркестратором;
  • пишешь прозрачный и читабельный код;
  • готов учиться и активно развивать свои навыки.
Будет преимуществом:
  • опыт работы с PostgreSQL;
  • опыт работы с распределенными СУБД (MPP, особенно Greenplum), понимание особенностей данных систем;
  • опыт с CI/CD практиками и инструментами;
  • готовность продемонстрировать один из своих проектов на GitHub;
  • знание различных типов СУБД (SQL, NSQL) и профилей использования (OLAP, OLTP), способность аргументированно выбрать оптимальный тип СУБД под задачу.
Условия
  • Agile-подход на всех уровнях организации (разработка и развитие сервисов происходит в парадигме Scrum);
  • комфортная культура открытости и отзывчивости;
  • сильные профессиональные IT-сообщества;
  • отсутствие бюрократии и дресс-кода;
  • гибридный формат работы (дом/офис) или полностью удаленный формат;
  • обучение, митапы, конференции;
  • ДМС со второй недели работы со стоматологией и массажем в РФ;
  • страхование жизни и выезжающих за рубеж, страхование в направлении онкологии;
  • специальные предложения по вкладам и кредитам;
  • скидки от компаний-партнеров по программе Prime Zone в РФ;
  • доплату за 14 дней в году по больничному листу до оклада (после испытательного срока);
  • доплату к отпускам, оформленным в январе и мае;
  • 3 оплачиваемых отгула в год;