Data Engineer (middle)

Технократия цифровизирует бизнес: от небольших компаний до крупных корпораций. СИБУР Диджитал, Камаз Digital, Татнефть, Университет Иннополис — наши клиенты. А ещё внутренние продукты, которые мы выводим на рынок.

У нас прозрачные процессы, понятная система грейдов и прогнозируемый рост, культура наставничества, возможность влиять на проекты и быть услышанным.

Ищем DE инженера в новое направление от мидла (есть удаленка).

Чем предстоит заниматься:

• интеграция с внешними и внутренними источниками;
• построение ETL пайплайнов;
• проверка качества данных ;
• регистрация происхождения данных;
• настройка систем мониторинга;
• поддержка систем интеграции;
• написание, параметризация и профилизация запросов к СУБД;

• написание библиотек и сервисов интеграции.

Наши ожидания:

• опыт работы с Apache Airflow;
• опыт работы с pySpark;
• знание SQL;
• опыт работы с OLAP СУБД;
• понимание принципов и основных методов построения архитектуры хранилища данных;
• опыт работы в Linux (командная строка);
• опыт работы с Docker или Kubernetes;
• опыт работы с Apache Nift;
• опыт работы с Apache Kafka;
• опыт работы с OLTP СУБД;
• опыт работы с Git;
• понимание принципов и основных методово построения архитектуры платформ данных;

• понимание подходов к обработке данных.

Будет плюсом:

• знание Python;
• знание JAVA;
• опыт работы с Apache Spark;
• опыт написание коннекторов Kafka Connect;
• опыт написания процессоров Nift;

• опыт построения CI/CD пайплайнов в Gitlab.