DevOps engineer в команду Data Lake
Откликнуться
  • Дата публикации:
    18.08.2021
  • Код вакансии:
    30322

Перед командой Data Lake стоит задача развития и поддержки современной аналитической платформы, включающей инструменты по сбору, хранению, обработке и анализу данных.

Платформа дает нашим пользователям (разработчикам из продуктовых команд) возможность быстрой, параллельной и независимой разработки ETL по загрузке данных и построению витрин для решения прикладных бизнес-задач. Данные, которые регулярно загружаются в Data Lake, используются Data Scientist'ами и аналитиками данных для построения моделей машинного обучения, отчетности и визуализации.

Сейчас на платформе одновременно ведут разработку около 40 продуктовых разработчиков, а анализ данных осуществляет около 500 пользователей. Данные в Data Lake в автоматическом режиме поставляются из примерно 120 источников, как внутренних, так и внешних.

Наш текущий стек: RHEL, Hadoop, Sqoop, Hive, Hbase, Spark, Ranger, Greenplum, PostgreSQL, Airflow, NiFi, Kafka, Zabbix, Rundeck, Gitlab CI, Ansible, Docker, Nginx, Grafana. Командная коммуникация в Zoom, текстовые сообщения (включая от ботов по мониторингу) - в Slack.

  • Дата публикации:
    18.08.2021
  • Код вакансии:
    30322

Требования

  • Linux: знания rpm-based дистрибутивов (RHEL, CentOS) на уровне RHCSA+: troubleshooting, virtualization, performance optimization;
  • Programming: опыт автоматизации с помощью скриптов на Python, общие знания в области устройства JVM/JDK (GC, heap);
  • Database: опыт администрирования и эксплуатации PostgreSQL: создание резервных копий, восстановление после аварий, работа с различными типами репликаций, организация отказоустойчивости, умение найти и отладить тяжёлые запросы, понимание ролевой модели и структуры сервисных объектов, базовые навыки в написании SQL запросов;
  • DevOps: опыт работы со стэком Gitlab или другим в части организации CI/CD пайплайнов, знания в области автоматизации (Ansible, Rundeck);
  • Будет большим плюсом: опыт администрирования стэка Hadoop (предпочтительно Hortonworks или Cloudera), умение работать с HDFS, Hive, Ranger, Spark и прочими компонентами окружения.  Понимание архитектуры и навыки в устранении проблем и оптимизации производительности в разрезе различных компонентов.

Обязанности

  • Обеспечивать работоспособность экосистемы Datalake (в первую очередь - Airflow, Hadoop & Hive & Hbase /Hortonworks Data Platform, NiFi) - настраивать и осуществлять мониторинг, анализировать и оптимизировать производительность, поддерживать в актуальном состоянии имеющуюся инфраструктуру (новые версии, патчи), устранять выявленные уязвимости;
  • Создавать, настраивать и поддерживать системы отказоустойчивости/высокой доступности на базе используемого стека Data Lake;
  • Настраивать и поддерживать процедуры и политики резервного копирования/восстановления;
  • Настраивать и поддерживать процессы и инструменты интеграции Data Lake с системами-источниками и потребителями данных;
  • Анализировать текущее состояние платформы и выявлять места для оптимизации, изучать продукты-кандидаты, потенциально подходящие для оптимизации Data Lake, прорабатывать архитектуру взаимодействия программных компонентов внутри платформы, автоматизировать развертывание;
  • Разрабатывать CI/CD конвейеры;
  • Решать пользовательские инциденты и анализировать их причины;
  • Документировать разрабатываемые процессы и обучать коллег работе с ними.

Мы предлагаем

  • Самостоятельно сформировать гибкий график работы с высокой долей удаленки и просторным и современным офисом в одной минуте ходьбы от метро Технопарк в случаях, когда командная работа предполагает физическое присутствие;
  • Работать в сплочённом IT-сообществе, где коллеги становятся настоящими друзьями;
  • Развиваться: мы оплачиваем профессиональные тренинги и образовательные курсы (в т.ч. на Сoursera), отправляем на лучшие тематические профессиональные конференции, а также проводим внутрибанковские митапы с приглашёнными экспертами;
  • Влиять на конечный результат и понимать бизнес-логику продуктов;
  • Работать на корпоративном MacBook'е;
  • Получать корпоративные льготы: ДМС с первого рабочего дня, скидки на банковские продукты, а также услуги и товары от компаний-партнеров.
Откликнуться на вакансию
Ваше имя
Фамилия
Email
Телефон
Дата рождения
Город проживания
Гражданство
Ссылка на резюме
Если у вас нет резюме, заполните анкету
Область образования
Учебное заведение
Иностранный язык
Уровень владения
+ добавить поле
Удалить
Текущая/последняя должность
Опыт работы
+ добавить поле
Удалить
Дополнительное образование
+ добавить поле
Удалить
Иные заслуги
О себе
Отправить