LLM инференс‑кластер YADRO: обзор и запуск моделей

Где живут LLM: разбираем инференс-кластер YADRO и гоняем в нем модели #Kubernetes Привет, Хабр! В этой статье я расскажу про наш LLM инференс-кластер YADRO: зачем он нужен, что у него под капотом и как в такой конфигурации показывают себя популярные модели. Кроме того, я немного порассуждаю об альтернативных реализациях кластера и поделюсь планами по развитию реализации нашей.

link