Дата-инженер

АНО «Центр технологических инициатив «Сколково» ищет дата-инженера для создания и развития единой фабрики данных аналитической линейки. Специалист будет отвечать за сбор, очистку, нормализацию и объединение данных из корпоративной отчетности, внутренних платформ, государственных реестров и внешних информационных систем. Результаты работы будут использоваться при подготовке индексов, рейтингов и исследований технологических ниш.

Обязанности:

• Создавать и поддерживать пайплайны загрузки, обработки и обновления данных.
• Объединять данные годовой отчетности компаний, квартальных срезов, внутренних платформ и внешних источников.
• Реализовать первый проект команды — нормализацию отчетности компаний за предыдущие 3–5 лет и формирование ретроспективных временных рядов.
• Разрабатывать и поддерживать единые справочники компаний, отраслей, продуктов и технологических направлений.
• Обрабатывать дубли, смены наименований и реквизитов, реорганизации юридических лиц и конфликтующие идентификаторы.
• Разрабатывать автоматические проверки полноты, качества и непротиворечивости данных.
• Обеспечивать фиксацию источника, даты среза и уровня верификации каждого показателя.
• Формировать воспроизводимые наборы данных для методологов, аналитиков и выпускающего редактора данных.
• Автоматизировать регулярные выгрузки, показатели сайта и подготовку данных по аналитическим запросам.
• Документировать архитектуру, преобразования и правила обработки.
• Участвовать в формировании реестров российских технологических компаний и подготовке данных для оценки их финансовой динамики, технологической зрелости и рыночной активности.
• Подключать и обрабатывать внешние источники, необходимые для исследований технологических ниш: государственные реестры, закупочные, патентные, внешнеторговые и инвестиционные данные.
• Собирать данные электронных торговых площадок и ЕИС, разрабатывать маску кодов ОКПД 2, словарь предметов закупки и правила классификации технологического спроса.

Требования:

• Опыт работы дата-инженером или разработчиком ETL/ELT-процессов от 3 лет.
• Уверенное владение SQL и Python.
• Практический опыт построения и сопровождения ETL- или ELT-пайплайнов.
• Опыт работы с реестровыми, финансовыми или корпоративными данными.
• Навыки очистки, нормализации и объединения данных из нескольких источников.
• Опыт работы с дублями, конфликтующими идентификаторами и историей изменений записей.
• Понимание принципов контроля качества данных и воспроизводимости процессов.
• Навык документирования моделей данных, преобразований и бизнес-правил.
• Готовность работать с большими объемами неоднородных и неидеально структурированных данных.

Будет преимуществом:

• Опыт работы в дата-командах банков, финтеха, справочных сервисов, тендерных агрегаторов или электронных торговых площадок.
• Опыт обработки финансовой отчетности компаний и государственных реестров.
• Знание ЕИС, ОКПД 2, ОКВЭД и структуры закупочных данных.
• Опыт работы с патентными, внешнеторговыми или инвестиционными базами.
• Понимание принципов построения аналитических витрин и API для предоставления данных.

Условия:

• Оформление согласно Трудовому кодексу РФ.

• Работа в коллективе экспертов.

• Экосистема Сколково, благоприятная для личностного роста и развития.