Новости нашего ИТ логотип
Подписаться
Опубликовано

Туториал: запускаем Hunyuan-A13B модель на vLLM и на llama.cpp

Автор

Туториал: запускаем Hunyuan-A13B модель на vLLM и на llama.cpp #docker Недавно вышла новая модель - Hunyuan-A13B: https://huggingface.co/tencent/Hunyuan-A13B-Instruct-GPTQ-Int4 (это уже квант)

link

avatar
Новости нашего ИТ
12 подписчиков
4746 постов
Данный канал является агрегатором технических статей нашего любимого ИТ, так что кто устал листать тысячи сайтов в поиске технических статей присоеденяйтесь к каналу и наслаждайтесь #it_news

Свежие посты