Senior Data Engineer в команду FSP Calculation

Мы ищем специалиста на позицию Data engineer в команду Финансовой платформы, которая занимается поддержкой и доработкой ПО, автоматизирующего критический бизнес процесса банка – регуляторного репортинга. Перед командой стоит задача миграции на новую программную платформу, построенную на современных open source технологиях – Airflow, Python, pySpark, Docker / k8s, Parquet, S3 MinIO, GreenPlum.

Стек технологий:

Python
pySpark
SQL
Apache AirFlow

Обязанности

• участвовать в миграции процессов загрузки и обработки данных ХД на целевую платформу;

• осуществлять код ревью;

• реализовывать процессы по загрузке данных и автоматизации расчетов;

• участвовать в оценке и планировании задач;

• взаимодействовать с соседними командами, которые разрабатывают и поддерживают целевую платформу в части определения необходимых доработок

Требования

• обладаете опытом работы DE;

• имеете опыт работы с pySpark и airflow;

• знакомы с различными способами организации хранилищ данных;

• обладаете хорошим уровнем написания кода (Python или Scala);

• умеете критически оценивать решения коллег и отстаивать свою точку зрения;

• обладаете проактивным подходом в решении задач и коммуникации с заказчиками.

Будет плюсом:

• глубокие знания об архитектуре Spark

• опыт работы с Kubernetes как средой исполнения Spark-программ

• опыт работы с GreenPlum

Условия

Мы предлагаем:

возможность работать из офиса или удаленно (главное — договориться с командой);
работа в структуре без строгой иерархии, где ваш руководитель — это играющий тренер;
работу по принципам Agile;
присоединиться к Data Engineering Community в банке, где коллеги обмениваются опытом и помогают друг другу;
участие в регулярных митапах профессиональных сообществ;
внутреннее и внешнее обучение за счет банка;
участие в профессиональных конференциях в качестве спикера или слушателя. Например, мы регулярно ходим на HighLoad или JPoint;
страховку со стоматологией, которая работает как в Москве, так и в регионах;
особые условия по нашим продуктам, например, ипотеке, банковским картам или накопительным счетам и вкладам.

еще десятки льгот и бонусов для сотрудников