DevOps Engineer Data Lake
ГородМосква
НаправлениеИнформационные технологии
КомандаData Lake
Дата публикации28.02.2023

DevOps Engineer Data Lake

Перед командой Data Lake стоит задача развития и поддержки основного компонента современной аналитической платформы данных. Платформа дает возможность быстрой, параллельной и независимой разработки решений прикладных бизнес-задач.
Ищем в команду DevOps-инженера, для поддержки и развития Data Lake, смежных сервисов и внутренних процессов. Наш текущий основной стек: Linux, Docker, Kubernetes, ELK, Zabbix, Prometheus, Grafana, PostgreSQL, Nginx, Gitlab CI/CD, Hadoop (HIVE, HDFS, HBASE, YARN, Ranger), Airflow, Rundeck, Jira, Confluence.
Кандидат, успешно прошедший собеседование и присоединившийся к команде Data Lake, будет:
  • обеспечивать работоспособность Data Lake (кластер Hadoop, Airflow), Unix подобных ОС;
  • поддерживать и настраивать мониторинг различных систем и инфраструктуры;
  • анализировать и оптимизировать производительность различных компонент Data Lake;
  • поддерживать в актуальном состоянии имеющуюся инфраструктуру;
  • управлять обновлениями, настройками, устранять выявленные уязвимости;
  • настраивать и поддерживать процессы и инструменты интеграции Data Lake с системами-источниками и потребителями данных;
  • развивать, улучшать процессы CI/CD;
  • восстанавливать сервисы Data Lake после сбоев, обрабатывать инциденты;
  • документировать разрабатываемые процессы и обучать коллег работе с ними;
  • развивать архитектуру системы и внедрять новые технологические решения и сервисы.
Требования к кандидатам:
  • опыт администрирования Unix-подобных ОС;
  • знания и опыт построения CI/CD-процессов;
  • понимание сетевых технологий и основных протоколов: TCP, UDP, HTTP, HTTPS, LDAP, Kerberos, DNS, DHCP
  • базовое знание одного из скриптовых языков: bash, python;
  • опыт работы с системой управления конфигурацией;
  • понимать принципы работы систем мониторинга;
  • опыт разработки сервисов для автоматизаций рутинной работы;
  • понимание базовых принципов информационной безопасности;
  • обладать экспертизой работы с контейнерными технологиями и оркестрацией;
  • навыки работы с Kubernetes;
  • опыт администрирования web серверов;
  • опыт администрирования баз данных.

    Будет плюсом:
  • знания в области устройства JVM/JDK;
  • навыки развертывания K8s и администрирования на bare metal;
  • опыт работы с кластером Hadoop (HDFS, YARN, HIVE, HBASE, Ranger), Livy, Spark, Airflow;
  • навыки сбора различных приложений/сервисов из исходников;
  • администрирование кластеров БД.
Мы обещаем тебе возможность:
  • возможность работать удаленно или в комфортном офисе на м. «Технопарк» с собственным спортзалом и кафе;
  • социальный пакет, включающий ДМС, страхование выезжающих за рубеж и не только;
  • обмен опытом и знаниями внутри виртуального комьюнити;
  • внешнее и внутреннее обучение, участие в профессиональных конференциях и митапах;
  • доплата до оклада за 14 дней в году по больничному листу;
  • доплата к отпуску в январе и мае;
  • 3 оплачиваемых отгула в год;
  • скидки от компаний-партнеров и специальные предложения по банковским продуктам.
  • еще десятки льгот и бонусов для сотрудников.