Как работает наша LLM-платформа MWS GPT

Как работает наша LLM-платформа MWS GPT #java Привет, Хабр! Меня зовут Олег Гуров, я Presales Solutions Architect на продукте MWS GPT — платформе для работы с LLM. Мы начали развивать ее в МТС Web Services два с половиной года назад: собрали песочницу на несколько видеокарт, где тестировали модели, проверяли гипотезы, искали применение в бизнесе. Мы быстро поняли, что в МТС интерес к LLM есть, и развернули внутренний сервис, где любой сотрудник или разработчик продукта мог попробовать их в деле. За первый год у нас появилось более 15 тысяч пользователей и 150+ внутренних проектов, использующих платформу. Сейчас наш сервис выдает больше 0,5 трлн токенов в год. Что это за цифра и как ее оценить? Для токенайзера Llama 3, например, это около 0,5 млрд страниц текста, отправленного в модели и полученного от них. В январе 2025-го мы вышли на

link