- Опубликовано
GPT-OSS-20B на H100: 156 млрд токенов/мес
- Автор
- Имя
- Новости нашего ИТ
- Telegram
- Новости нашего ИТ12 подписчиков4766 постовДанный канал является агрегатором технических статей нашего любимого ИТ, так что кто устал листать тысячи сайтов в поиске технических статей присоеденяйтесь к каналу и наслаждайтесь #it_news
GPT-OSS-20B, H100: выжимаем 156 миллиардов токенов в месяц
#docker
После релиза GPT-OSS-20B от OpenAI было много новостей, но конкретных бенчмарков с реальными цифрами я так и не нашел. Решил выжать из модели максимум на H100 PCIe 80GB. Что получилось: до 60K токенов/сек c 91% загрузка GPU. Внутри пишу, как я это сделал по шагам!
Новости нашего ИТ
12 подписчиков
4766 постов
Данный канал является агрегатором технических статей нашего любимого ИТ, так что кто устал листать тысячи сайтов в поиске технических статей присоеденяйтесь к каналу и наслаждайтесь #it_news
Предыдущий пост
- Опубликовано
Puppet в Avito 15000 серверов CI/CD
Puppet в Avito: 15000 серверов, CI/CD и практические уроки продакшна
Из подборки #ai
- Опубликовано
#docker
+1
Хакатон Норникеля: YOLO, 2 место
Хакатон Норникеля YOLO 2 место как выиграть
- Опубликовано
#ai
+1
Spring AI Agentic Patterns Part 2 AskUserQuestion
Spring AI Agentic Patterns part 2: AskUserQuestionTool – agents clarify before acting
- Опубликовано
#java
+1
Roo Code: как использовать DeepSeek для тестирования
Как использовать Roo Code с DeepSeek для тестирования Java приложений
- Опубликовано
#java
+1
Нейросети для задач: сравнение Кэмп и ChatGPT
Как решить задачи программирования с помощью нейросетей: сравнение Кэмп, ChatGPT, Claude
- Опубликовано
Я год не пишу код вручную и не вернусь
AI-driven инструменты разработки без написания кода вручную
- Опубликовано
ИИ-статьи: спасение автора или смерть интернета
ИИ-статьи спасение автора или смерть интернета
Свежие посты
- Опубликовано
Kafka
+1
Удобная синхронизация настроек Kafka
Удобная синхронизация настроек Kafka в кластере
- Опубликовано
#java
+1
Spring Data 2025.1.2 и 2025.0.8 released
Spring Data 2025.1.2 и 2025.0.8: релиз и новые возможности
- Опубликовано
#devops
+1
How Ansible does the real work in hyperautomation
Как Ansible реализует реальную работу в гиперавтоматизации?
- Опубликовано
OpenMedata в облаке: DataGovernance обзор Collate 1
OpenMedata в облаке Data Governance обзор Collate часть 1
- Опубликовано
#docker
+1
Python без Python: как запускать код где угодно
как запускать Python код где угодно без установки
- Опубликовано
#docker
+1
Хакатон Норникеля: YOLO, 2 место
Хакатон Норникеля YOLO 2 место как выиграть
- Опубликовано
#devops
+1
Nginx с человеческим лицом: обзор Nginx Proxy Manager
обзор Nginx Proxy Manager для новичков DevOps
- Опубликовано
От поэзии к нейробиологии: проверка метафор любви
Научная проверка метафор любви в поэзии и нейробиологии