Инженер данных

Обязанности:

• интеграция данных из систем источников в хранилища данных (ETL/ELT);
• создание и развитие хранилища для около риал тайм данных (Postgres);
• создавать и улучшать процессы обработки данных;
• принимать участие в создании интеграций новых источников в DataLake;
• принимать участие в архитектурных решениях;
• разрабатывать процедуры формирования детального слоя данных и слоя витрин (GP, Postgres);
• реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus);
• покрывать интеграции и расчеты витрин проверками качества данных;
• документировать свою работу в Яндекс Вики;
• работать в Яндекс Трекере;
• работа с инцидентами в ITSM инструменте.

Требования:

• знания принципов работы БД, построения ХД;
• опыты разработки ETL процессов (NiFi, Flink);
• имеет опыт работы с системами контроля версий (Git);
• опыт работы с высоконагруженными системами хранения и обработки данных;
• отличное знание SQL, опыт оптимизации запросов (GreenPlum, Postgres);
• опыт самостоятельного ведения проектов;
• опыт разработки на Python;
• желание обучаться и развиваться;
• понимание работы брокеров сообщений (Kafka);
• опыт работы с Machine learning моделями будет плюсом (Kubernetes, Kuberflow).

Условия:

• гибкая система премирования;

• расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания и оплата мобильной связи;

• работа в компании с развитой инженерной культурой;

• автономность работы, возможность менять правила, ошибаться и создавать новое;

• возможность профессионального роста, программы развития для сотрудников;

• корпоративное обучение и доступ к базе знаний;

• внутренние профессиональные сообщества и мероприятия;

• гибридный формат работы/удаленный формат работы;

• современный офис в 2 минутах ходьбы от МЦК ЗИЛ.