Data Engineer в команду Perception

О команде:

Каждый день наши автономные машины собирают много данных, которые мы собираем и анализируем для улучшения и тестирования нашего ПО. Одно из направлений разработки – распознавание, которое очень тесно связано с нейронными сетями, а они – с данными.

Мы ищем единомышленника, который поможет нам в разработке пайплайнов подготовки данных, их предобратке и сборе. Вакансия подразумевает работу с большими объемами технических данных с использованием SQL, Dagster, Spark и polars/pandas, написание алгоритмов обработки данных на языке Python.

Чем предстоит заниматься:

• Разработка пайплайнов сборка, обработки, доставки данных;
• Обработка и форматирование данных для обучения нейросетевых моделей;
• Написание инструментов для работы с данными.

Что мы ждем от кандидата:

• Разработка на языке Python;
• Хорошее знание SQL (на уровне джойнов);
• Опыт работы со Spark;
• Опыт обработки данных с использованием Python (Pandas/Polars).

Будет плюсом:

• Опыт работы с Clickhouse;
• Опыт работы с данными для CV;
• Опыт работы с Dagster.