Экспериментально показано, что вычислительные затраты могут быть уменьшены в 1500 раз, хотя примененный для этого метод пока остается вычислительно тяжелым. Ученые из AIRI, МФТИ и Лондонского математического института (LIMS) изучили пределы вместимости языковых моделей, используя сжатие текста для оценки их емкости. Результаты показали, что текст в 1500 слов или токенов можно сжать в один вектор [&]

Компьютерра

https://www.computerra.ru/316217/opredeleny-granitsy-szhatiya-informatsii-dlya-yazykovyh-modelej/