Пресненская набережная 12
Группа компаний Велфарм – это ведущий игрок в фармацевтической индустрии, специализирующийся на разработке, производстве и дистрибуции лекарственных средств.
Мы стремимся к инновациям и улучшению качества жизни людей по всему миру.
вакансия: Инженер базы данных
Чем необходимо будет заниматься:
- Проектирование и оптимизация хранилищ данных: создание и настройка схем баз данных включая партиционирование, кластеризацию и индексацию для повышения производительности.
- Разработка и поддержка ETL-процессов: создание пайплайнов для извлечения, трансформации и загрузки данных (настройка зависимостей, ретраев) и КАФКА для потоковой обработки. Проектировать и реализовывать ИТЛ-слои для информационных потоков.
- Интеграция данных: подключение к различным источникам (APИ, ФTP, С3), обработка и загрузка данных в целевые хранилища.
- Оптимизация запросов: написание и оптимизация запросов с использованием оконных функций, других конструкций, анализ планов выполнения (ЭКСПЛАЙН).
- Мониторинг и обеспечение надёжности: настройка алертов, логирование, тестирование пайплайнов, обеспечение отказоустойчивости и масштабируемости систем.
- Работа с инструментами: использование ПИТОН для скриптов, настройка интеграций с внешними системами.
- Управление данными и их качеством: Разработка метрик и автоматизированных проверок качества данных (например, выявление дубликатов, аномалий, несогласованных форматов). Внедрение процедур очистки, нормализации и преобразования данных на этапах ETЛ. Участие в создании стандартов хранения данных , включая классификацию, метаданные, политики доступа и сроки хранения.
- Архитектурное проектирование: Проектирование и поддержка архитектуры хранилищ данных.
- Оптимизация структур данных (выбор движков таблиц, партиционирование, репликация). Выбор и реализация процедур инкрементальной загрузки данных из источников. Построение звездных/снежинковых схем для аналитических отчетов и дашбордов. Интеграция для обеспечения гибкости анализа (например, через внешние таблицы или промежуточные слои).
- Поддержка аналитических процессов: Создание витрин данных для аналитиков, актуариев и менеджеров. Автоматизация регулярной отчетности в части подготовки данных (ежедневные/ежемесячные дашборды для руководства).
Требования к кандидату
- Опыт работы с СУБД: глубокие знания, понимание особенностей КликХаус (например, колоночной архитектуры, оптимизации для аналитических запросов).
- Навыки работы с инструментами: практический опыт использования АйрФлоу для оркестрации пайплайнов, КАФКА для потоковой передачи данных.
- Программирование: владение ПИТОН (обязателен), желательно знание СКАЛА или ДЖАВА для работы с распределёнными системами.
- Знание ETЛ-процессов: понимание принципов извлечения, трансформации и загрузки данных, опыт построения сложных пайплайнов.
- Опыт с распределёнными системами: понимание принципов работы Хадооп, СПАРК (желательно).
- Навыки: системное мышление, коммуникативные навыки, умение работать в команде, аналитическое мышление.
Дополнительные преимущества
- Опыт работы с облачными платформами .
- Знание принципов Data Governance и управления качеством данных.
- Опыт работы с контейнеризацией.
- Понимание бизнес-процессов и умение переводить бизнес-требования в технические решения.
Условия работы
- Формат: полный рабочий день;
-
оформление по ТК РФ с первого дня; офис- Москва-Сити, башня Федерация;
-
график работы: 5/2 (гибрид, удаленный формат обсуждается);
-
корпоративное обучение, возможность профессионального роста;
-
частичная компенсация питания.
Присоединяйтесь к Велфарм Групп – будущее фармацевтики начинается здесь!