доктор Рагин: GPT-3 вообще не думает. Он тупо предсказывает следующее слово в тексте и постепенно слово за словом генерирует текст. Спрашивали у GPT-3: что тяжелее? карандаш или гиря?
Он не знает. Не нашел в тексте точного веса карандаша. В него просто загрузили корпус текстов и научили предсказывать. ;)

https://forum.sources.ru/index.php?showtopic=421329&view=findpost&p=3846954