Data Engineer в команду FMRM Core

Мы занимаемся внедрением моделей поведения клиентов и расчётом их влияния на прибыльность банков. Активно участвуем в построении архитектуры и процессов управления данными, необходимыми для расчётов. Принимаем участие в процессе разработки математических и статистических моделей анализа рыночных и портфельных данных, моделей поведения клиентов.

Главной задачей команды является развитие полноценной риск- и АЛМ-платформы, покрывающей следующие задачи риск-менеджмента и Казначейства:

управление процентным риском Банковской книги;
моделирование динамики баланса Банка, чистого процентного дохода;
бюджетирование;
оценка чувствительности торговой книги к изменениям рыночных параметров;
переоценка ПФИ;
отчетность топ-менеджменту Банка.

Чем предстоит заниматься:

подключение к Data Lake новых источников данных;
создание витрин данных по бизнес-домену Рисков;
настройка регламентной загрузки данных в витрины;
участие в проектировании аналитического ХД (Core, витрины);
реализация процессов загрузки и трансформации данных (Core, витрины).
участие в проектировании инструментов, облегчающих работу других продуктовых команд с Data Lake;
помощь платформенной команде в развитии Data Lake (автоматизация работы с метаданными, пилотирование нового функционала и т.д.).
вакансия подразумевает получение и применение уникального опыта в части построения ETL-пайплайнов на основе Open-Source технологий (Spark, Hadoop, NiFi, Airflow, Kafka, GreenPlum).

Мы ожидаем:

владение SQL на уровне написания сложных запросов: знание, что такое оконные функции, функции ранжирования, CTE;
не менее 2-3 лет опыта работы в области создания/обогащения витрин данных;
знакомство с различными типами СУБД (SQL, NoSQL) и профилями их использования (OLAP, OLTP) и способность аргументированно выбрать оптимальный тип СУБД под задачу;
опыт работы с Airflow или любым другим оркестратором;
умение писать код на Python и пользоваться GIT, знание, что такое Unit-тесты;
использование Hadoop; знание, как работает YARN, как эффективно хранить данные на HDFS, опыт написания запросов в Hive;
способность писать прозрачный читающийся код, разделять его на классы, применять паттерны.

Будет плюсом:
умение писать код на Spark и считать данные сервиса, используя его API, отсортировать, отфильтровать их и сохранить результат на HDFS;
опыт работы с Kafka или другим Message Broker'ом, знание основных концепций потоковой обработки данных;
опыт работы с инструментом DBT (Data Build Tool);
знание банковской предметной области (особенно в части Рисков);
опыт разработки/внедрения систем класса DWH;
знание CI/CD практик и инструментов;
возможность продемонстрировать один из своих проектов на GitHub.

Мы предлагаем:

возможность работать из офиса или удаленно. Главное — договориться с командой;
работу по принципам Agile;
присоединиться к комьюнити в банке, где коллеги обмениваются опытом и помогают друг другу;
участие в регулярных митапах профессиональных сообществ;
внутреннее и внешнее обучение за счет банка;
участие в профессиональных конференциях в качестве спикера или слушателя;
страховку со стоматологией, которая работает как в Москве, так и в регионах;
особые условия по нашим продуктам, например, ипотеке, банковским картам или накопительным счетам и вкладам.

еще десятки льгот и бонусов для сотрудников