Data Engineer в команду Cometa

Мониторинговая система условий по кредитным сделкам предназначена для системного хранения, обработки и передачи данных по условиям кредитных соглашений корпоративных клиентов. Система автоматизирует часть кредитного процесса (после заключения кредитного соглашения) по сопровождению сделок. Система позволяет своевременно и структурированно получать информацию по статусу выполнения условий клиентами и принимать решения по дальнейшему кредитованию.
Новая мониторинговая система будет являться важной частью сквозного digital процесса кредитования (corporate digital lending).
Мы будем разрабатывать «с нуля» систему, без legacy кода, с применением современных практик и фреймворков, которая заменит существующую систему. Система будет включать в себя веб-приложение и микро-сервисы для расчётов.
В своей работе мы опираемся на ценности и принципы Scrum, строим команду на принципах открытости и взаимопомощи.
Присоединяйтесь к команде Райффайзенбанка и вместе с бизнес-экспертами мы сами будем определять какой должна быть система, выстраивать дружную команду и создавать крутой продукт!

Зоной ответственности DE в команде является подготовка данных в удобном виде для коллег-DS, построение пайплайнов для их формирования батчами в корпоративном хранилище.

Наш стек технологий: Python, Spark, Airflow, Hive, Kafka, NiFi, Sqoop, а также «местами»: Docker, JAVA, Gitlab-ci, IBM MQ

Вам доверим:

Разработку новых сервисов для автоматизации бизнес-процессов, потоков и витрин данных;
Поддержку и доработку созданных командой веб-приложений

Эта вакансия для тебя, если ты:

Работаешь с SQL на уровне написания сложных запросов: знаешь, что такое оконные функции, функции ранжирования, CTE;
Используешь Hadoop, знаешь, как работает YARN, и чем отличается Parquet от Orc, пишешь запросы в Hive;
Пишешь код на Python, пользуешься GIT, знаешь, что такое Unit тесты;
Пишешь код на Spark и можешь считать данные сервиса, используя его API, отсортировать, отфильтровать их и сохранить результат на HDFS;
Знаком с различными типами СУБД (SQL, NoSQL) и профилями использования (OLAP, OLTP) и можешь аргументированно выбрать оптимальный тип СУБД под задачу;
Имеешь опыт работы с Airflow или любым другим оркестратором;
Пишешь прозрачный читаемый код, разделяешь его на классы, применяешь паттерны;

Плюсом будет:

Опыт работы с Docker.
Понимание философии DevOps

Мы предлагаем:

Возможность профессионального и карьерного роста;
Высокий уровень свободы;
Атмосферу развития, вдохновленную принципами Agile;
Использование гибких методик разработки, активное участие бизнеса в разработке, возможность видеть результат своей работы;
Команду профессионалов, готовых делиться опытом;
Низкий уровень формализма, включая относительно свободный стиль одежды;
Социальный пакет, включая ДМС и страхование выезжающих за рубеж;
Доплату по больничным, корпоративный пенсионный план;
Льготное кредитование, программу корпоративных скидок и не только;
Профессиональные обучающие курсы и конференции.