Data Engineer
ГородМосква
НаправлениеИнформационные технологии
КомандаVirtual Assistants
Дата публикации01.08.2022
Нажимайте смело — отклик произойдет только на следующем шаге

Data Engineer

Наша команда занимается чат-ботами и чатами в банке. Мы делаем много разных бэкендов на современном Python, стремимся постоянно повышать качество и отслеживать каждый аспект работы наших решений. В их основе лежат самые актуальные версии софта и ML. Наши решения генерируют много данных, которые мы используем для анализа и обучения наших моделей. Мы быстро адаптируемся к новым трендам и не боимся быстро доводить до продакшна новые идеи. В нашей команде есть Python-разработчики, Data-Scientist’ы, DevOps-инженеры, тестировщики, и сейчас мы продолжаем усиливать команду в области работы с данными.
Обязанности
  • разрабатывать ETL-процессы, в том числе real-time;
  • проектировать, формировать и оптимизировать витрины данных;
  • осуществлять интеграции с разными источниками данных для чат-бота;
  • принимать участие в разработке архитектуры решений;
  • решать задачи на стыке бэкенд-разработки на Python и дата-инженерии.
Требования
  • владение SQL на продвинутом уровне (join’ы, агрегатные функции, подзапросы, DDL, DML, CTE, транзакции; умение работать с планом запроса, опыт написания сложных запросов и их оптимизации);
  • опыт разработки ETL-процессов, умение видеть возможности для их оптимизации;
  • хорошее знание Python 3.6-3.10 и его инфраструктуры;
  • опыт работы с Apache Airflow или другим оркестратором (Luigi, Prefect);
  • опыт работы с экосистемой Hadoop (HDFS, Spark, Hive);
  • опыт работы с PostgreSQL;
  • опыт работы с NoSQL (мы используем Redis/Keydb);
  • опыт работы с MQ (мы используем RabbitMQ и Kafka);
  • опыт работы с CI/CD.
  • знание Linux и умение работать с командной строкой;
  • опыт работы с Docker и Kubernetes (желательно);
  • опыт в MLOps (будет плюсом).
Условия
  • гибкое время начала рабочего дня, возможность удаленной работы;
  • отличный социальный пакет (ДМС с первого месяца со стоматологией, страхование выезжающих за рубеж, скидки на корпоративные продукты, тренажерный зал в офисе);
  • доплату до полной зарплаты за отпуск в январе и мае и другие преимущества;
  • льготные условия на продукты банка, программу корпоративных скидок и многое другое;
  • участие в различных конференциях и профильных курсах, IT Academy;
  • Macbook Pro или ноутбук на Windows/Linux на выбор.