Как я делал свою языковую модель: эксперимент

Как я делал свою языковую модель: история эксперимента #java Уже больше года назад у меня зародилась идея создать свою архитектуру языковой модели. Традиционные модели, «думающие» на уровне токенов мне решительно не нравились. Колоссальный вычислительный бюджет на то, чтобы просто предсказать один токен. Логичным мне казалось оторвать мышление модели от токенов, перенеся его в латентное пространство. Примерно полгода назад я начал первые практические эксперименты и сейчас получил первые практические результаты. Поскольку уровень подготовки читателей очень сильно различается, в статье не будет глубоких технических разборов, а скорее история эксперимента. Для того, чтобы реализовать эту идею логично было разделить модель на три части:

link