Data Engineer в команду Operational DWH

Ищем Data Engineer'а, который станет частью команды аналитической платформы данных.

Пользователи нашей платформы — это разработчики из продуктовых команд, Data Scientist'ы и аналитики.
Мы хотим создать стабильный, простой в использовании продукт, который станет надежным помощником для решения бизнес-задач любого уровня сложности.

Наш текущий стек:

RHEL, Hadoop, Hive, Spark, Greenplum, PostgreSQL, Airfolw, NiFi, Zabbix, Jira/Confluence, Docker, GitLab, Grafana, GraphQL.

Что делает команда и что предстоит тебе

мы разрабатываем с нуля новое хранилище данных для банка на MPP Greenplum. В качестве модели используем локальную модификацию DV2.0;
перед нашей командой стоит задача создать простой и удобный фреймворк для самостоятельной загрузки данных пользователями;
мы разрабатываем платформу таким образом, чтобы пользователю не приходилось писать код, для добавления новой загрузки, достаточно заполнить метаданные.

Эта вакансия для тебя, если ты

уверенно пользуешься SQL (join’ы, агрегатные функции, подзапросы и оконные функции);
понимаешь как работают реляционные базы данных, интересуешься архитектурой СУБД, понимаешь основную механику работы БД;
хорошо владеешь Python (стандартные библиотеки + jinja, psycopg2 и т.п.);
имеешь опыт разработки/внедрения систем класса DWH и понимаешь концепцию хранилищ данных;
имеешь опыт в разработке сложных ETL процессов;
имеешь опыт работы с Airflow или любым другим оркестратором;
пишешь прозрачный и читабельный код;
готов учиться и активно развивать свои навыки.

Будет преимуществом:

опыт работы с PostgreSQL;
опыт работы с распределенными СУБД (MPP, особенно Greenplum), понимание особенностей данных систем;
опыт с CI/CD практиками и инструментами;
готовность продемонстрировать один из своих проектов на GitHub;
знание различных типов СУБД (SQL, NSQL) и профилей использования (OLAP, OLTP), способность аргументированно выбрать оптимальный тип СУБД под задачу.

Условия

Agile-подход на всех уровнях организации (разработка и развитие сервисов происходит в парадигме Scrum);
комфортная культура открытости и отзывчивости;
сильные профессиональные IT-сообщества;
отсутствие бюрократии и дресс-кода;
гибридный формат работы (дом/офис) или полностью удаленный формат;
обучение, митапы, конференции;
ДМС со второй недели работы со стоматологией и массажем в РФ;
страхование жизни и выезжающих за рубеж, страхование в направлении онкологии;
специальные предложения по вкладам и кредитам;
скидки от компаний-партнеров по программе Prime Zone в РФ;
доплату за 14 дней в году по больничному листу до оклада (после испытательного срока);
доплату к отпускам, оформленным в январе и мае;
3 оплачиваемых отгула в год;

еще десятки льгот и бонусов для сотрудников

еще десятки льгот и бонусов для сотрудников