Дата-инженер

Дата размещения вакансии: 25.04.2024
Работодатель: Mediascope
Уровень зарплаты:
з/п не указана
Город:
Москва
Требуемый опыт работы:
От 1 года до 3 лет

Mediascope — исследовательская компания, которая работает на стыке медиа и IТ. Мы анализируем аудиторию телевидения, интернета, радио и прессы, поставляем данные и создаем уникальные аналитические продукты, которыми пользуются российские медиа, рекламные агентства и компании-рекламодатели.

Наша задача — создавать и поддерживать индустриальные стандарты работы с данными на рынке медиа и рекламы, а также развивать медиаисследования в России.

Стек технологий, с которым работаем:

CI: GitLab CI
BigData: arflow, zeppelin, jupiterhub, hadoop, spark/pyspark/spark-sql

Чем предстоит заниматься:

  • Мониторинг и анализ ключевых показателей\метрик\статистик функционирования платформы больших данных

  • Обработка и вывод изменений (релизов) в продуктивную среду

  • Разработка, развитие и поддержка автоматизированных решений мониторинга процесса производства данных, проверки качества данных (data quality) и др.

  • Поддержка и развитие политик хранения данных в различных хранилищах

  • Участие в обеспечении бесперебойности ежедневного производства данных

  • Участие в проработке архитектурных решений, code review и пр.

Что для этого потребуется:

  • Уверенное знание SQL (диалект любой, но у нас преимущественно postgres и spark)

  • Хороший Python (придётся писать скрипты и разбираться в чужих)

  • Опыт работы в linux-консоли (желательно понимание и опыт в bash-скриптах)

  • Понимание принципов работы с Git

  • Понимание и опыт использования API (HTTP) будет преимуществом

  • Внимательность, умение сосредоточиться и найти лишний пробел:)

  • Коммуникабельность, готовность общаться с коллегами для поиска оптимальных решений

  • Инициативность, как продолжение желания максимально упростить и автоматизировать рутинные операции

  • Высшее образование (направление ИТ, математика и т.д.).

Будет плюсом:

  • Опыт автоматизации регулярных процессов с помощью сервисов\скриптов

  • Опыт работы или знание эко-системы Hadoop и оркестратора процессов обработки данных Airflow;

  • Опыт работы в направлении управления данными (data governance);

  • Опыт обработки больших датасетов и\или работы в условиях ограниченных ресурсов;

  • Опыт работы или активное взаимодействие с командами мониторинга/эксплуатации/поддержки;

  • Опыт работы с реляционными Базами Данных;

Мы предоставим комфортные условия для работы:

  • Возможность выбирать формат работы — офис, удаленка, гибрид
  • Официальное оформление, гарантируем соблюдения трудового кодекса РФ
  • Расширенная медицинская страховка (включая стоматологию)
  • Используем современный стек технологий и открыты к внедрению новых инструментов
  • Работа в аккредитованной IT -компании
  • Мы умеем быстро подстраиваться под изменения, и у нас внутри гибкие процессы
  • Наши заказчики — крупные компании на российском медиарынке, у нас разные проекты от значимых до очень значимых

Наши преимущества:

  • Выделенный наставник с первых дней работы: мы понимаем, что новая компания — всегда стресс, поэтому у нас новичкам помогают старшие коллеги.
  • Внутренние коммьюнити: 2 трека внутренних митапов для аналитиков и инженеров; возможность выступать как спикер или приходить на выступления других коллег в качестве слушателя
  • Карьерный рост: при хороших результатах работы вы быстро двигаетесь по карьерному треку
  • Уникальная корпоративная культура, ориентированная на людей. Для нас важен каждый коллега, мы всегда открыты к диалогу и любым вопросам сотрудников.