НаправлениеПлатформа данных
КомандаOperational DWH
Дата публикации15.03.2023
Data Engineer в команду Operational DWH
Ищем Data Engineer'а, который станет частью команды аналитической платформы данных.
Пользователи нашей платформы — это разработчики из продуктовых команд, Data Scientist'ы и аналитики.
Мы хотим создать стабильный, простой в использовании продукт, который станет надежным помощником для решения бизнес-задач любого уровня сложности.
Мы хотим создать стабильный, простой в использовании продукт, который станет надежным помощником для решения бизнес-задач любого уровня сложности.
Наш текущий стек:
Что делает команда и что предстоит тебе
- мы разрабатываем с нуля новое хранилище данных для банка на MPP Greenplum. В качестве модели используем локальную модификацию DV2.0;
- перед нашей командой стоит задача создать простой и удобный фреймворк для самостоятельной загрузки данных пользователями;
- мы разрабатываем платформу таким образом, чтобы пользователю не приходилось писать код, для добавления новой загрузки, достаточно заполнить метаданные.
Эта вакансия для тебя, если ты
- уверенно пользуешься SQL (join’ы, агрегатные функции, подзапросы и оконные функции);
- понимаешь как работают реляционные базы данных, интересуешься архитектурой СУБД, понимаешь основную механику работы БД;
- хорошо владеешь Python (стандартные библиотеки + jinja, psycopg2 и т.п.);
- имеешь опыт разработки/внедрения систем класса DWH и понимаешь концепцию хранилищ данных;
- имеешь опыт в разработке сложных ETL процессов;
- имеешь опыт работы с Airflow или любым другим оркестратором;
- пишешь прозрачный и читабельный код;
- готов учиться и активно развивать свои навыки.
Будет преимуществом:
- опыт работы с PostgreSQL;
- опыт работы с распределенными СУБД (MPP, особенно Greenplum), понимание особенностей данных систем;
- опыт с CI/CD практиками и инструментами;
- готовность продемонстрировать один из своих проектов на GitHub;
- знание различных типов СУБД (SQL, NSQL) и профилей использования (OLAP, OLTP), способность аргументированно выбрать оптимальный тип СУБД под задачу.
Условия
- Agile-подход на всех уровнях организации (разработка и развитие сервисов происходит в парадигме Scrum);
- комфортная культура открытости и отзывчивости;
- сильные профессиональные IT-сообщества;
- отсутствие бюрократии и дресс-кода;
- гибридный формат работы (дом/офис) или полностью удаленный формат;
- обучение, митапы, конференции;
- ДМС со второй недели работы со стоматологией и массажем в РФ;
- страхование жизни и выезжающих за рубеж, страхование в направлении онкологии;
- специальные предложения по вкладам и кредитам;
- скидки от компаний-партнеров по программе Prime Zone в РФ;
- доплату за 14 дней в году по больничному листу до оклада (после испытательного срока);
- доплату к отпускам, оформленным в январе и мае;
- 3 оплачиваемых отгула в год;
- еще десятки льгот и бонусов для сотрудников