О проекте
Для реализации проекта требуется специалист по разработке аналитических систем, интеграции и обработке данных.
Проект предусматривает создание интерактивной аналитической BI-системы обработки и предоставления данных в сфере внешнеэкономической деятельности (ВЭД).
Система должна обеспечивать сбор, очистку, преобразование и объединение данных из существующих источников, формирование централизованного хранилища и аналитических витрин, а также предоставление пользователям интерактивных дашбордов и отчетов.
Важное условие: система разворачивается исключительно в закрытой инфраструктуре заказчика. Использование облачных сервисов не допускается. Предпочтение отдаётся специалистам с опытом разработки корпоративных аналитических систем и работы с большими объёмами данных.
Основные задачи
1. Разработка ETL-процессов
-
Разработка и настройка процессов извлечения, преобразования и загрузки данных с использованием Apache Airflow, Python и SQL.
-
Интеграция данных из существующих баз данных, файловых источников и REST API.
-
Реализация полной и инкрементальной загрузки, обработки ошибок, повторных запусков и журналирования.
-
Очистка, дедупликация, нормализация и обогащение данных.
-
Разработка механизмов сопоставления данных с нормативно-справочной информацией и классификаторами.
2. Разработка и настройка хранилища данных
-
Проектирование и реализация многослойной архитектуры хранилища: STAGE, ODS, DDS и DATAMARTS.
-
Разработка таблиц, представлений, связей, индексов и аналитических витрин на базе PostgreSQL / Greengage.
-
Интеграция данных из существующих структур закрытого контура без избыточного дублирования.
-
Организация хранения истории изменений и контроля качества данных.
-
Оптимизация запросов и обеспечение производительности аналитической системы.
3. Интеграция источников данных
-
Работа с существующими таблицами и представлениями корпоративных баз данных.
-
Подключение REST API для получения мастер-данных организаций.
-
Реализация загрузки справочников и классификаторов из файлов Excel.
-
Сопоставление сведений о компаниях, внешнеторговых операциях, товарах, странах и регионах.
-
Подготовка совместимых представлений данных для BI-подсистемы.
4. Разработка BI-системы
-
Настройка Apache Superset и подключение аналитических витрин.
-
Разработка интерактивных дашбордов, графиков, таблиц и карточек ключевых показателей.
-
Реализация сквозных фильтров по периоду, товарам, странам, регионам, компаниям и направлениям торговли.
-
Настройка выгрузок данных в XLS/CSV и формирование отчетов в Word по согласованным шаблонам.
-
Реализация ролевой модели доступа к данным и компонентам системы.
5. Реализация предметных областей
Необходимо обеспечить техническую реализацию четырёх аналитических направлений:
-
Итоги внешней торговли участников ВЭД России — анализ экспорта и импорта, товарных групп, компаний, стран и регионов.
-
Мировая торговля и место России — сравнение показателей стран, рейтинги, динамика и доля России в мировой торговле.
-
Экспортный потенциал — подготовка данных для расчётной модели определения компаний с потенциальными экспортными возможностями и сохранение результатов её работы.
-
Торговля услугами — подготовка архитектуры интеграции и аналитических представлений для последующего подключения официальных данных.
Требования к специалисту
-
Практический опыт разработки ETL/ELT-процессов и интеграции разнородных источников данных.
-
Уверенное владение Python и SQL.
-
Опыт работы с Apache Airflow.
-
Опыт проектирования и разработки хранилищ данных (DWH), витрин данных и аналитических представлений.
-
Практический опыт работы с PostgreSQL; знание Greenplum или Greengage будет преимуществом.
-
Опыт работы с Apache Superset или аналогичными BI-платформами.
-
Понимание принципов многослойной архитектуры данных, моделирования фактов и измерений, построения аналитических витрин.
-
Навыки оптимизации SQL-запросов и работы с большими объёмами данных.
-
Опыт интеграции REST API, обработки JSON и реализации механизмов авторизации.
-
Понимание принципов разграничения доступа, журналирования и контроля качества данных.
-
Готовность работать по подробному техническому заданию и взаимодействовать с представителями заказчика.
Будет преимуществом
-
Опыт разработки BI-решений для крупных компаний, государственных организаций или финансовых институтов.
-
Опыт работы в закрытых информационных контурах с ограничениями на внешние подключения.
-
Опыт интеграции данных из нескольких корпоративных систем без дублирования первичных массивов.
-
Опыт построения аналитических моделей, рейтингов и расчётных показателей.
-
Опыт работы с классификаторами, мастер-данными и историческими срезами данных.
-
Опыт подготовки технической документации, программ и методик испытаний.
Ожидаемый результат
По итогам работ необходимо обеспечить:
-
Работоспособные ETL-процессы загрузки и преобразования данных.
-
Настроенное хранилище данных с необходимыми слоями и витринами.
-
Интеграцию с согласованными источниками данных и нормативно-справочной информацией.
-
Четыре аналитические предметные области в Apache Superset.
-
Интерактивные дашборды, фильтры и таблицы.
-
Выгрузку отдельных блоков в XLS/CSV и формирование отчетов в Word.
-
Ролевое разграничение доступа.
-
Техническую документацию и материалы, необходимые для тестирования и передачи системы заказчику.
Разработка ведётся поэтапно. Состав работ по отдельным модулям уточняется при согласовании технического решения и исходных данных.
