JobToo

Дата Инженер

iFellow

Обязанности

участие в разработке ядра системы анализа процессов;
разработка переиспользуемых трансформаций данных и пайплайнов;
разработка self-service инструментов обработки данных для пользователей;
разработка и проектирование модели данных.

Требования

опыт работы в качестве инженера данных от 3 лет;
промышленный опыт PySpark, Clickhouse (или без него, но с хорошим опытом Greenplum );
богатый опыт работы с Airflow, NiFi или др. оркестраторами ETL процессов;
уверенное владение SQL и использование его в работе, уровень выше среднего;
уверенное знание Python (в т.ч. pandas), выше среднего;
знание основ ООП, теории алгоритмов, структур данных;
знание теории построения хранилищ данных;
любознательность, широкий кругозор, желание изучать новые технологии, исследовательский склад ума;
Важны софты, чтоб клещами не вытягивать ответы;
Погружение в инфраструктуру для обеспечения работы кластера (железо его настройка, методы обработки хранимого массива данных);
Hadoop и Spark - нужно знать инфраструктуру, т.к. идет переход с Hive на Spark.

Будет плюсом

опыт в Unix shell: базовые команды для работы с файлами и процессами;
опыт работы с брокерами сообщений;
опыт работы с Docker, Kubernetes;
опыт работы с Big Data стеком, Spark, Hive;
опыт работы с данными по логам.

Вакансия на сайте компании

Откликнуться в JobToo

Вакансии этой компании

Все вакансии компании iFellow

Похожие вакансии