Data Engineer в команду Retail Reporting
Откликнуться
  • Дата публикации:
    11.02.2020
  • Код вакансии:
    VMSK7023.NiL.DERR

Наша команда была создана для того, чтобы помогать коллегам из бизнеса и других команд дирекции Retail&SME решать любые задачи, связанные с платформами GDWH, Cognos, ODS, SAS и Data Lake. Нам интересно разбираться в причинах возникновения поступающих к нам задач и предлагать решения, несущие пользу для бизнеса. В последнее время банк делает большую ставку на развитие Data Lake, и именно команда Retail Reporting является соответствующим центром компетенции в рамках нашей дирекции.

  • Дата публикации:
    11.02.2020
  • Код вакансии:
    VMSK7023.NiL.DERR

Ожидаемая экспертиза:

- использовал Hadoop, знаешь, как работает Yarn, как эффективно хранить данные на HDFS, писал запросы в Hive;
- работал с SQL и не раз писал сложные запросы;
- имел дело с key-value БД (Hbase, Cassandra...);
- пишешь читабельный код, разделяешь его на классы, применяешь паттерны;
- знаешь, что такое Unit-тесты;
- обязательно и часто коммитишь сделанные изменения;
- писал код на Spark и можешь считать данные сервиса используя его Rest API, отсортировать, отфильтровать их и сохранить результат на HDFS;
- имел дело с Kafkой и баловался со стримингом;
- можешь деплоить приложения в Docker;
- разбираешься в CI/CD практиках и инструментах;
- умеешь работать самостоятельно.
+, если ты:
- знаком с банковской предметной областью;
- имеешь опыт работы с любой из "классических" РСУБД (Oracle, MS-SQL PostgreSQL);
- можешь продемонстрировать один из своих проектов на GitHub.

Чем предстоит заниматься:

- определять с бизнесом, какие данные нужны для решения задач и оперативно строить пайплайны по загрузке данных в Data Lake на регулярной основе;
- строить витрины под аналитические цели, выбирая оптимальный формат и структуру хранения данных;
- помощь Data Scientist"истам в разработке и выводе в продакшн моделей машинного обучения, как в батче, так и в реал-тайм;
- применять техники потоковой обработки данных для решения реал-тайм задач;
- поддерживать инфраструктуру и развивать на open source;
- использовать такие технологии, языки и инструменты, как Hadoop, Spark, NiFi, Hive, Hbase, Kafka, Airflow, ClickHouse, Java, Python.

Что мы предлагаем:

- работать в сплочённом IT-сообществе, где коллеги становятся настоящими друзьями;
- развиваться: мы оплачиваем профессиональные тренинги и образовательные курсы (в т.ч. на Сoursera, Udemy и т.д.), отправляем на российские и зарубежные конференции, а также проводим внутрибанковские митапы с приглашёнными экспертами;
- влиять на конечный результат и понимать бизнес-логику продуктов: следуем принципам Agile;
- чувствовать комфорт каждый день: обитаем в просторном и современном офисе в минуте ходьбы от м. Технопарк, можем предложить гибкий график;
- заботиться о здоровье: занимаемся спортом в бесплатном тренажёрном зале, пользуемся одним из лучших полисов ДМС в Москве с первого дня.
Откликнуться на вакансию
Ваше имя
Фамилия
Email
Телефон
Дата рождения
Город проживания
Гражданство
Ссылка на резюме
Если у вас нет резюме, заполните анкету
Область образования
Учебное заведение
Иностранный язык
Уровень владения
+ добавить поле
Удалить
Текущая/последняя должность
Опыт работы
+ добавить поле
Удалить
Дополнительное образование
+ добавить поле
Удалить
Иные заслуги
О себе
Отправить