улица Гиляровского 57
Обязанности:
Чем предстоит заниматься:
- Настройка и автоматизация сбора больших объёмов статистических данных из множества источников в одно хранилище.
- Проверка корректности данных, отсеивание неполной или ошибочной информации.
- Создание ETL-пайплайнов для загрузки и обработки информации.
- Преобразование необработанных данных в формат, подходящий для последующей обработки и анализа.
- Поиск новых источников данных, а также возможностей для улучшения сбора и обработки информации.
- Автоматизация парсинга данных.
- Создание и поддержание отчетности, перенос отчетности в Bi-систему.
- Ведения технической документации.
Требования:
Что мы ожидаем (что необходимо знать):
- Знание алгоритмов и структур данных, которые позволяют эффективно хранить, обрабатывать и извлекать данные.
- Навыки работы с SQL, знание СУБД MS SQL, Postgres
- Приветствуется знание языков программирования Python, Java/Scala.
- Знание инструментов и фреймворков для работы с большими данными (Spark, Hadoop, Kafka).
- Умение создавать и использовать пайплайны для обработки данных (Airflow, PySpark).
- Навыки работы с распределенными системами.
- Инструменты для работы с Big Data.
- Работа с Excel на уровне продвинутого пользоваться, владение инструментами для анализа данных
Условия:
Что мы предлагаем:
- работа над крупными проектами заказной разработки для государственных и около-государственных заказчиков
- официальное оформление в штат (первые три месяца испытательный срок - срочный трудовой, после успешного прохождения - бессрочный трудовой)
- гибкий график (вы можете работать в любое время при условии решения рабочих задач в рамках стандартной 40 часовой рабочей недели и появлении на обязательных встречах - дейли, раз в неделю общая планерка организации)
- гибридный формат работы (частичное присутствие в офисе в определенные дни) или полностью удаленный формат. Постоянное рабочее место в офисе (5-10 минут от Рижского вокзала) тоже готовы предоставить
- премирование по итогам реализации проектов согласно положению о премировании
