Data Engineer / Инженер данных

Мы ведущий технологический партнер Счетной палаты Российской Федерации.
АНО «Цифровой аудит» специализируется на внедрении инноваций в области Big Data и AI для создания надежных, эффективных и масштабируемых технологических решений.

Обязанности:

• разработка системы для работы с данными: хранилища, инструменты и сервисы
• сбор данных из требуемых источников
• очистка данных
• структурирование данных
• проведение контроля качества данных
• настройка периодической загрузки данных
• проведение контроля качества и формирование витрин и движение данных между инструментами
• обновление используемых инструментов и поиск способов улучшения и автоматизации существующих процессов
• подготовка рабочей документации

Требования:

• экспертное/уверенное владение SQL (включая оптимизацию запросов)
• знания Python, опыт с Scala или Java
• знание инструментов ETL (Extract, Transform, Load): опыт работы с инструментами ETL для извлечения, трансформации и загрузки данных из различных источников
• знание систем управления базами данных: знания SQL и NoSQL баз данных, включая Greenplum, ClickHouse, MongoDB, Cassandra, PostgreSQL, MySQL и другие
• опыт работы с распределенными системами обработки данных (Hadoop, Spark)
• знание технологий потоковой обработки данных (Kafka, Flink)
• опыт работы с облачными платформами (такими как AWS, Yandex, VK Cloud), включая их сервисы для работы с данными (например, S3, EC2, RDS, BigQuery)
• понимание принципов Data Governance и Data Quality
• опыт работы с системами контроля версий (Git)

Условия:

• работа в it компании с большим потенциалом
• прозрачная система мотивации, стабильная загрузка
• оформление в соответствии с ТК РФ
• дружный коллектив и лояльное внимательное руководство
• разнообразный набор социальных льгот и гарантий
• уровень заработной платы обсудим на собеседовании