Senior DevOps Engineer в платформу Analytical Data Platform
ГородМосква
НаправлениеИнформационные технологии
КомандаAnalytical Data Platform
Дата публикации10.11.2021
Нажимайте смело — отклик произойдет только на следующем шаге

Senior DevOps Engineer в платформу Analytical Data Platform

Перед командой Analytical Data Platform (ADP) стоит задача развития и поддержки современной аналитической платформы, включающей инструменты по сбору, хранению, обработке и анализу данных.
Платформа дает нашим пользователям (разработчикам из продуктовых команд) возможность быстрой, параллельной и независимой разработки ETL по загрузке данных и построению витрин для решения прикладных бизнес-задач. Данные, которые регулярно загружаются в Data Lake, используются Data Scientist'ами и аналитиками данных для построения моделей машинного обучения, отчетности и визуализации.
Ищем в команду Senior DevOps-инженера, для развития платформы и процессов. Любим Linux и *nix подобные операционные системы, не раскатываемся в прод через консоль, по максимуму автоматизируем свои действия и делаем их повторяемыми. Ждём активных и знающих людей, которые готовы учиться, обучать и выстраивать процессы. 
Наш текущий стек: RHEL, Hadoop, Sqoop, Hive, Hbase, Spark, Ranger, Greenplum, PostgreSQL, Airflow, NiFi, Kafka, Zabbix, Rundeck, Gitlab CI, Ansible, Docker, Nginx, Grafana.
В этой роли ты будешь:
  • Обеспечивать работоспособность экосистемы ADP (в первую очередь - Airflow, Hadoop Hive & Hbase /Hortonworks Data Platform, NiFi) - настраивать и осуществлять мониторинг, анализировать и оптимизировать производительность, поддерживать в актуальном состоянии имеющуюся инфраструктуру (новые версии, патчи), устранять выявленные уязвимости;
  • Создавать, настраивать и поддерживать системы отказоустойчивости/высокой доступности на базе используемого стека ADP;
  • Настраивать и поддерживать процедуры и политики резервного копирования/восстановления;
  • Настраивать и поддерживать процессы и инструменты интеграции ADP с системами-источниками и потребителями данных;
  • Анализировать текущее состояние платформы и выявлять места для оптимизации, изучать продукты-кандидаты, потенциально подходящие для оптимизации ADP, прорабатывать архитектуру взаимодействия программных компонентов внутри платформы, автоматизировать развертывание;
  • Разрабатывать CI/CD конвейеры;
  • Решать пользовательские инциденты и анализировать их причины;
  • Документировать разрабатываемые процессы и обучать коллег работе с ними.
Мы ждем от тебя:
  • Linux: знания rpm-based дистрибутивов (RHEL, CentOS) на уровне RHCSA+: troubleshooting, virtualization, performance optimization;
  • Database: опыт администрирования и эксплуатации PostgreSQL: создание резервных копий, восстановление после аварий, работа с различными типами репликации, организация отказоустойчивости, умение найти и отладить тяжёлые запросы, понимание ролевой модели и структуры сервисных объектов, базовые навыки в написании SQL запросов;
  • Опыт работы с системами мониторинга;
  • DevOps: опыт работы в части организации CI/CD пайплайнов, знания в области автоматизации (Ansible, Rundeck);
  • Опыт работы в команде разработки на позиции инженера или разработчика;
  • Общие знания в области устройства JVM/JDK (GC, heap).
Будет плюсом опыт:
  • автоматизации с помощью скриптов на Python;
  • администрирования стэка Hadoop (предпочтительно Hortonworks или Cloudera), умение работать с HDFS, Hive, Ranger, Spark и прочими компонентами окружения.
  • понимание архитектуры и навыки в устранении проблем и оптимизации производительности в разрезе различных компонентов;
  • деплоя и эксплуатации приложений в k8s/PKS, в том числе с helm;
  • работы со стэком Gitlab;
  • настройки мониторинга системы с помощью Zabbix.

Мы предлагаем:
  • Самостоятельно сформировать гибкий график работы с высокой долей удаленки и просторным и современным офисом в одной минуте ходьбы от метро Технопарк в случаях, когда командная работа предполагает физическое присутствие
  • Работать в сплочённом IT-сообществе, где коллеги становятся настоящими друзьями;
  • Развиваться: мы оплачиваем профессиональные тренинги и образовательные курсы (в т.ч. на Сoursera), отправляем на лучшие тематические профессиональные конференции, а также проводим внутрибанковские митапы с приглашёнными экспертами;
  • Влиять на конечный результат и понимать бизнес-логику продуктов
  • Работать на корпоративном MacBook'е
  • Получать корпоративные льготы: ДМС с первого рабочего дня, скидки на банковские продукты, а также услуги и товары от компаний-партнеров.