Data Engineer в команду Data Lake
Откликнуться
  • Дата публикации:
    30.06.2020
  • Код вакансии:
    VMSK7672.NiL.DEP

Райффайзенбанк ищет Data Engineer"а, который станет частью IT-команды (~10 человек) развития Data Lake.
Перед нами стоит задача создания современной аналитической инфраструктуры, включающей как инструменты по сбору, хранению и обработке данных, так и сбору самих данных в режиме real-time. Отдельное внимание уделяется разработке масштабируемого универсального подхода по выводу в продуктивную эксплуатацию моделей машинного обучения. Ожидается, что на выходе из этого проекта целые дирекции смогут переключить ежедневные процессы принятия решений на Data Lake, как в части управленческой ретроспективной отчетности, так и в части совершения действий, подсказанных предиктивными моделями.
Наша вакансия подразумевает получение и применение уникального опыта на стыке построения ETL- пайплайнов на основе open-source технологий (Spark, Ignite, Hadoop, Greenplum, NiFi, Airflow, Kafka), построения production ready CI/CD процессов и вывода в производственную эксплуатацию моделей машинного обучения.

  • Дата публикации:
    30.06.2020
  • Код вакансии:
    VMSK7672.NiL.DEP

Эта вакансия для тебя, если ты:

Как Junior Data Engineer:
- изучал SQL и тебя не пугают: joinы, агрегатные функции, подзапросы, DDL, DML, DCL, CTE, транзакции;
- читал о HDFS и Hadoop и даже сам пробовал разворачивать дистрибутив Hadoop дома или в облаке;
- писал код Python или любом другом языке программирования общего назначения;
- готов узнавать много нового и активно развивать навыки по обработке данных.
Как Middle Data Engineer:
- умеешь все то же, что и Junior Data Engineer;
- работал с SQL и не раз писал сложные запросы;
- использовал Hadoop, знаешь, как работает YARN, как эффективно хранить данные на HDFS, писал запросы в Hive;
- пишешь прозрачный читающийся код, разделяешь его на классы, применяешь паттерны;
- знаешь, что такое Unit тесты;
- обязательно и часто сохраняешь сделанные изменения в Git;
- писал код на Spark и можешь считать данные сервиса, используя его Rest API, отсортировать, отфильтровать их и сохранить результат на HDFS;
- имел опыт с Kafkой и знаешь основные концепции потоковой обработки данных;
- умеешь работать самостоятельно.
Как Senior Data Engineer:
- умеешь все то же, что и Middle Data Engineer;
- плотно работал с Hadoop в качестве разработчика/Data engineerа;
- имеешь опыт работы с Airflow или любым другим оркестратором
- у тебя есть опыт работы со Spark не менее 2х лет;
- знаешь, что нового в Spark 2.4 и Hadoop 3.0;
- можешь определить, для решения какой задачи выбор того или иного инструмента архитектурно более правильный;
- можешь ставить задачи, планировать работу, общаться с заказчиками.
Будет преимуществом, если ты:
- знаком с банковской предметной областью;
- имеешь опыт разработки/внедрения систем класса DWH;
- имеешь опыт работы с любой из "классических" РСУБД (Oracle, MS-SQL PostgreSQL);
- можешь деплоить приложения в Docker;
- разбираешься в CI/CD практиках и инструментах;
- можешь продемонстрировать один из своих проектов на GitHub;
- умеешь писать на Java или Scala (на последней - применительно к использованию в связке со Spark).

Вместе мы будем:

- определять с заказчиком, какие данные нужны для решения задач и оперативно строить пайплайны по загрузке данных в Data Lake на регулярной основе;
- применять техники потоковой обработки данных для решения реал-тайм задач;
- строить витрины под аналитические цели коллег, выбирая оптимальный формат и структуру хранения данных;
- помогать коллегам Data Scientist"истам в разработке и выводе в промышленную эксплуатацию моделей машинного обучения.
Мы не отдаем предпочтение какому-то определенному уровню подготовки, у нас есть работы и перспективы как для Junior, так и для Middle и Senior специалистов. Но всё же теоретические знания в части Hadoop, HDFS, парадигм разработки и практические - в части программирования и применения SQL являются обязательными.

Мы предлагаем:

- свободу в выборе инструментов для решения задач;
- регулярное посещение тренингов, митапов и конференций (в том числе как спикер) за наш счет;
- командную работу и поддержку;
- гибкий график;
- отличный социальный пакет (ДМС, скидки на корпоративные продукты, спортзал в здании);
- кафе в здании, где можно обедать и пить свежесваренный кофе;
- возможность за одну минуту добраться от ст.м.Технопарк до комфортного офиса;
- отсутствие формализма и позитивный настрой.
Откликнуться на вакансию
Ваше имя
Фамилия
Email
Телефон
Дата рождения
Город проживания
Гражданство
Ссылка на резюме
Если у вас нет резюме, заполните анкету
Область образования
Учебное заведение
Иностранный язык
Уровень владения
+ добавить поле
Удалить
Текущая/последняя должность
Опыт работы
+ добавить поле
Удалить
Дополнительное образование
+ добавить поле
Удалить
Иные заслуги
О себе
Отправить