от 250000 RUR
Москва
От 1 года до 3 лет
На данный момент мы ищем Data Engineer в "ДатаЛаб".
Направление «ДатаЛаб» специализируется на Big Data, машинном и глубоком обучении и искусственном интеллекте с 2021 года. В составе направления более 30 специалистов. Гордимся тем, что создали для «ВкусВилл» предиктивную модель по прогнозированию сроков доставки, а также систему, которая рекомендует покупателям товары в мобильном приложении, что улучшает лояльность клиентов.
Что предстоит делать:
- Разработка NRT ETL процессов используя Spark Streaming и Clickhouse
- Разработка батчевых ETL процессов с использованием Apache Spark и Airflow
- Мониторинг и обеспечение качества данных поступающих в хранилище
- Оптимизация текущих решений
Мы ждем от вас:
- Опыт работы с Clickhouse - понимание архитектуры и особенностей СУБД, умение читать план запроса, обладать навыками оптимизации.
- Опыт работы с Apache Spark (Pyspark 3.4.1 и более актуальными версиями). Понимание архитектуры Spark, навык отладки и отимизации кода.
- Опыт работы с Apache Airflow.
- Продвинутый уровень sql
- Python на среднем уровне
