Перед командой Data Lake стоит задача развития и поддержки современной аналитической платформы, включающей инструменты по сбору, хранению, обработке и анализу данных.
Платформа дает нашим пользователям (разработчикам из продуктовых команд) возможность быстрой, параллельной и независимой разработки ETL по загрузке данных и построению витрин для решения прикладных бизнес-задач. Данные, которые регулярно загружаются в Data Lake, используются Data Scientist'ами и аналитиками данных для построения моделей машинного обучения, отчетности и визуализации.
Наш стек: RHEL, Hadoop, Sqoop, Hive, Hbase, Spark, Ranger, Greenplum, PostgreSQL, Airflow, NiFi, Kafka, Zabbix, Rundeck, Jira/Confluence, Bitbucket, Bamboo, Ansible, Docker, Nginx, Grafana. Командная коммуникация в Zoom, текстовые сообщения (включая от ботов по мониторингу) - в Slack.
-
Дата публикации:16.02.2021
-
Код вакансии:30322
Требования
- Linux: знания rpm-based дистрибутивов (RHEL, CentOS) на уровне RHCSA+: troubleshooting, virtualization, performance optimization;
- Programming: опыт автоматизации с помощью скриптов на Python, общие знания в области устройства JVM/JDK (gc, heap);
- DevOps: опыт работы со стэком Atlassian (bamboo, bitbucket), Gitlab или другим в части организации CI/CD пайплайнов, глубокие знания в области автоматизации (Ansible, Rundeck).
- Database: опыт администрирования и эксплуатации PostgreSQL: создание резервных копий, восстановление после аварий, работа с различными типами репликаций, организация отказоустойчивости, умение найти и отладить тяжёлые запросы, понимание ролевой модели и структуры сервисных объектов, базовые навыки в написании SQL запросов.
- Hadoop: опыт администрирования стэка Hadoop (предпочтительно Hortonworks или Cloudera), умение работать с HDFS, Hive, Ranger, Spark и прочими компонентами окружения. Понимание архитектуры и навыки в устранении проблем и оптимизации производительности в разрезе различных компонентов.
Обязанности
- Обеспечивать работоспособность экосистемы Datalake (в первую очередь - Airflow, Hadoop/Hortonworks Data Platform, NiFi) - настраивать и осуществлять мониторинг, анализировать и оптимизировать производительность, поддерживать в актуальном состоянии имеющуюся инфраструктуру (новые версии, патчи), устранять выявленные уязвимости;
- Создавать, настраивать и поддерживать системы отказоустойчивости/высокой доступности на базе используемого стека Data Lake;
- Настраивать и поддерживать процедуры и политики резервного копирования/восстановления;
- Настраивать и поддерживать процессы и инструменты интеграции Data Lake с системами-источниками и потребителями данных;
- Анализировать текущее состояние платформы и выявлять места для оптимизации, изучать продукты-кандидаты, потенциально подходящие для оптимизации Data Lake, прорабатывать архитектуру взаимодействия программных компонент внутри платформы, автоматизировать развертывание;
- Разрабатывать CI/CD конвейеры;
- Решать пользовательские инциденты и анализировать их причины;
- Документировать разрабатываемые процессы и обучать коллег работе с ними.
Мы предлагаем
- возможность влиять на конечный результат и понимать бизнес-логику продуктов — мы следуем принципам Agile;
- комфортные условия труда: просторный и современный офис в минуте ходьбы от станции метро «Технопарк»;
- работу в сплоченном IT-сообществе, где коллеги становятся настоящими друзьями;
- отличный социальный пакет (ДМС, страхование выезжающих за рубеж, скидки на корпоративные продукты, тренажерный зал в офисе);
- льготное кредитование, программа корпоративных скидок и другое;
- профессиональные обучающие курсы и конференции в России и за рубежом;
- современное оборудование.