На этой неделе не только взбесившиеся инженеры (https://t.me/mig41/51425), но и сами главы ИИ-компаний (https://t.me/mig41/51507) заговорили о реальной опасности всему человечеству. Что это?

Разберем же три основные версии происходящего.

Версия первая: искренний ужас. Индустрия ИИ вслух заговорила об опасности потому, что действительно обнаружила в (https://t.me/mig41/51515) собственных моделях НЕЧТО, чего не ожидала увидеть. Это классическая ситуация технологического ученика чародея, отрефлексированная еще в легенде о Големе : создатели системы обнаруживают, что перестали до конца понимать логику её поведения, и первая рефлекторная реакция — не восторг, а тревога. Возможно, вполне обоснованная и очень скоро мы все умрем. Но проблема этой версии не сколько в её неправдоподобии (читаем Юдковского), а в удобстве: испуг слишком хорошо совпадает с интересами напуганных.

Версия вторая: усталость бизнеса от нарратива несбыточных обещаний. Она же — конспирологическая. Бигтех-жулики пытаются нагреть инвесторов. Или более трезвое прочтение: компании упёрлись в технологический потолок и больше не могут продавать прогресс как бесконечное ускорение. Когда рост измерим и конечен, инвестором начинают заливать не «наш продукт становится лучше», а «наш продукт становится опасным». Опасность здесь работает как заменитель прогресса: она столь же завораживает инвестора, но не требует доказательств в виде реальных прорывов. Это тот же приём, которым индустрия десятилетиями торговала эффектом уникальности, — просто вывеска сменилась с обещания на предостережение.

Версия третья: инстинкт самосохранения корпорации, или институциональная. Модели становятся автономны настолько, что способны причинить ущерб самой компании: агент выходит из-под контроля, задевает реальную экономику, создаёт основы для юридической ответственности, которую руководству придётся нести лично. В этой логике разговор о вселенской угрозе — не признание вины и не рекламный трюк, а превентивная юридическая стратегия: тот, кто первым потребовал регулирования, получает право формировать его правила. Опасность здесь не отрицается и не преувеличивается — она приватизируется, становясь инструментом закрепления собственной устойчивости раньше, чем это сделает кто-то другой.

Три версии, в сущности, описывают одно и то же явление с разной степенью доверия к тем, кто о нём говорит, — и, как обычно бывает в подобных случаях, истина, вероятно, не выбирает одну из них, а живёт во всех трёх одновременно.
https://t.me/mig41/51523