JobToo

Data Engineer

Авиасейлс

Описание

Все вакансииData EngineerAnalytics: DEУдалённоОткликнутьсяИли скинуть вакансию друзьямНаша команда инфраструктуры аналитики помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.В компании много самодостаточных команд. В каждой команде свои сервисы, свои разработчики и аналитики. Так что у нас достаточно потоков данных самого разнообразного формата и объема. Это данные о букингах, на которые смотрит вся компания, и каждая запись проверяется чуть ли не руками, а еще — данные о билетах объемом более терабайта в сутки. Это требует разных подходов с нашей стороны.Наша платформа основана по принципам LakeHouse архитектуры. Наш стек: Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte, Apache Airflow, DataHub.Тестирование и сборка производятся на CI сервере (Jenkins). Также присутствует Terraform. Деплой в Kubernetes(EKS в AWS). Настройкой серверов и разворачиванием баз мы не занимаемся. Это делает отдельная команда инфраструктуры.Нам нужен еще один дата инженер в нашу дружную команду, который в ближайшей перспективе будет сфокусирован на задачах одной из продуктовых команд.Что нужно делатьподключать новые источники и разрабатывать/модернизировать data pipelines;настраивать и поддерживать аналитическое окружение;отправлять и обмениваться данными с внешними и внутренними сервисами;модернизировать текущую дата платформу вместе с core командой дата инженеров;работать в…

Вакансия на сайте компании

Откликнуться в JobToo

Вакансии этой компании

Все вакансии компании Авиасейлс

Похожие вакансии