Senior Data инженер
ГородМосква
НаправлениеИнформационные технологии
КомандаFinancial Services Capitalization Team
Дата публикации05.12.2022
Нажимайте смело — отклик произойдет только на следующем шаге

Senior Data инженер

Мы занимаемся разработкой платформы для создания новых финансовых сервисов (стек Java/Spring/pySpark). Каждый новый сервис - это высоконагруженное приложение для пакетной обработки операций по всем банковским продуктам.
Центральная часть платформы - разрабатываемый в команде фреймворк вычислений на основе технологии pySparkOnKubernetes.
Мы ищем специалиста на позицию Senior Data Engineer, знакомого с концепцией "многовариантной персистентности", которому не чужды как RDBMS-источники, так и NoSQL (например, PostgreSQL/HDFS/Hive/Cassandra/Greenplum), который поможет нам построить
с нуля эффективное хранилище финансовых данных, благодаря которому расчеты будут выполняться быстрее и надежнее.
У вас будет реальный шанс видеть результаты своей работы и настоящая возможность лидировать процесс создания хранилища.
Стек технологий:
- SQL;
- pySpark;
- Hadoop (Hive, HDFS);
- Spring Cloud Data Flow orchestrator
- GitlabCI
- Kubernetes
- Apache Ignite
Обязанности
• прорабатывать архитектуру интеграционных решений между хранилищем данных и системами-источниками;
• заниматься организацией пайплайнов для поставки данных;
• реализовывать процессы по загрузке данных и автоматизации расчетов;
• совместно с командой заниматься проектированием эффективной с точки зрения дальнейших расчетов модели данных;
• участвовать в оценке и планировании задач

Требования
• опыт работы DE;
• опыт проектирования хранилищ данных с нуля;
• знание различных типов СУБД (SQL, NoSQL) и профили использования (OLAP, OLTP);
• знание различных способов организации хранилищ данных;
• опыт написания сложных запросов на SQL для классических RDBMS-систем;
• обладаете проактивным подходом в решении задач и коммуникации с заказчиками и коллегами по команде.

Будет плюсом:
• понимание банковской предметной области;
• опыт в разработке сложных ETL процессов;
• опыт работы с Hadoop, HDFS, Hive в качестве Data Engineer’а;
• опыт работы Greenplum;
• опыт работы с оркестраторами (Airflow, Luigi, SCDF)
• читали и любите Мартина Клеппмана Designing Data-Intensive Applications

Условия
  • широкие возможности по обучению и повышению компетенций за счет внутренней IT-академии, внешних курсов и профессиональных конференций;
  • активные внутренние IT-сообщества;
  • возможность работать в комфортном современном офисе в 3 минутах ходьбы от м. Технопарк, гибкий график и отсутствие дресс-кода;
  • возможность удаленной работы;
  • отличный социальный пакет (ДМС с первого месяца со стоматологией и массажем, страхование выезжающих за рубеж, скидки на корпоративные продукты, тренажерный зал в офисе);
  • льготное кредитование, программа корпоративных скидок и не только;
  • возможность выбора оборудования;
  • доплата по больничным, отпуск в январе и мае без потери в зп, корпоративный пенсионный план.