Новости нашего ИТ логотип
Подписаться
Опубликовано

Автоматизация Spark на Kubernetes через кастомный оператор Airflow

Автор

Spark on Kubernetes: наш путь к автоматизации через кастомный оператор Airflow #Kubernetes Всем привет! Меня зовут Дмитрий Третьяков, я ML Engineer в компании «Лента». Мы регулярно запускаем PySpark-приложения в Kubernetes-кластере, используя Airflow. Этот процесс важен для нашей ежедневной работы с данными, но в какой-то момент мы столкнулись с тем, что стандартный подход через SparkKubernetesOperator стал сдерживать развитие: не хватало гибкости, возникали сложности в сопровождении и процесс настройки был излишне сложным для разработчиков.

link

avatar
Новости нашего ИТ
12 подписчиков
4787 постов
Данный канал является агрегатором технических статей нашего любимого ИТ, так что кто устал листать тысячи сайтов в поиске технических статей присоеденяйтесь к каналу и наслаждайтесь #it_news

Предыдущий пост

Следующий пост

Из подборки #devops

Все посты из подборки →

Свежие посты

Следующие посты →