ГородМосква
НаправлениеИнформационные технологии
КомандаData Lake
Дата публикации28.02.2023
DevOps Engineer Data Lake
Перед командой Data Lake стоит задача развития и поддержки основного компонента современной аналитической платформы данных. Платформа дает возможность быстрой, параллельной и независимой разработки решений прикладных бизнес-задач.
Ищем в команду DevOps-инженера, для поддержки и развития Data Lake, смежных сервисов и внутренних процессов. Наш текущий основной стек: Linux, Docker, Kubernetes, ELK, Zabbix, Prometheus, Grafana, PostgreSQL, Nginx, Gitlab CI/CD, Hadoop (HIVE, HDFS, HBASE, YARN, Ranger), Airflow, Rundeck, Jira, Confluence.
Кандидат, успешно прошедший собеседование и присоединившийся к команде Data Lake, будет:
- обеспечивать работоспособность Data Lake (кластер Hadoop, Airflow), Unix подобных ОС;
- поддерживать и настраивать мониторинг различных систем и инфраструктуры;
- анализировать и оптимизировать производительность различных компонент Data Lake;
- поддерживать в актуальном состоянии имеющуюся инфраструктуру;
- управлять обновлениями, настройками, устранять выявленные уязвимости;
- настраивать и поддерживать процессы и инструменты интеграции Data Lake с системами-источниками и потребителями данных;
- развивать, улучшать процессы CI/CD;
- восстанавливать сервисы Data Lake после сбоев, обрабатывать инциденты;
- документировать разрабатываемые процессы и обучать коллег работе с ними;
- развивать архитектуру системы и внедрять новые технологические решения и сервисы.
Требования к кандидатам:
- опыт администрирования Unix-подобных ОС;
- знания и опыт построения CI/CD-процессов;
- понимание сетевых технологий и основных протоколов: TCP, UDP, HTTP, HTTPS, LDAP, Kerberos, DNS, DHCP
- базовое знание одного из скриптовых языков: bash, python;
- опыт работы с системой управления конфигурацией;
- понимать принципы работы систем мониторинга;
- опыт разработки сервисов для автоматизаций рутинной работы;
- понимание базовых принципов информационной безопасности;
- обладать экспертизой работы с контейнерными технологиями и оркестрацией;
- навыки работы с Kubernetes;
- опыт администрирования web серверов;
- опыт администрирования баз данных.Будет плюсом:
- знания в области устройства JVM/JDK;
- навыки развертывания K8s и администрирования на bare metal;
- опыт работы с кластером Hadoop (HDFS, YARN, HIVE, HBASE, Ranger), Livy, Spark, Airflow;
- навыки сбора различных приложений/сервисов из исходников;
- администрирование кластеров БД.
Мы обещаем тебе возможность:
- возможность работать удаленно или в комфортном офисе на м. «Технопарк» с собственным спортзалом и кафе;
- социальный пакет, включающий ДМС, страхование выезжающих за рубеж и не только;
- обмен опытом и знаниями внутри виртуального комьюнити;
- внешнее и внутреннее обучение, участие в профессиональных конференциях и митапах;
- доплата до оклада за 14 дней в году по больничному листу;
- доплата к отпуску в январе и мае;
- 3 оплачиваемых отгула в год;
- скидки от компаний-партнеров и специальные предложения по банковским продуктам.
- еще десятки льгот и бонусов для сотрудников.
- еще десятки льгот и бонусов для сотрудников