Идея уничтожения человечества с помощью искусственного интеллекта обсуждается уже несколько десятилетий, и недавно ученые вынесли свой вердикт о том, можно ли управлять компьютерным сверхинтеллектом высокого уровня.
По словам ученых, загвоздка заключается в том, что для того, чтобы контролировать сверхинтеллект, который находится далеко за пределами человеческого понимания, необходимо смоделировать этот сверхинтеллект, который можно анализировать и контролировать. Но если люди не способны это понять, то создать такую симуляцию невозможно.
Исследование было опубликовано в журнале Journal of Artificial Intelligence Research .


Такие правила, как "не навреди людям", невозможно установить, если люди не понимают, какие сценарии может предложить ИИ, говорят ученые. Как только компьютерная система работает на уровне, превышающем возможности наших программистов, тогда уже нельзя устанавливать никаких ограничений.

Сверхинтеллект - это принципиально иная проблема, чем те, которые обычно изучаются в рамках "роботизированной этики". Это связано с тем, что суперинтеллект многогранен и, следовательно, потенциально способен мобилизовать разнообразные ресурсы для достижения целей, которые потенциально непостижимы для человека, не говоря уже о том, что им можно управлять", - пишут исследователи.

Часть рассуждений команды была основана на проблеме остановки, поставленной Аланом Тьюрингом в 1936 году. Проблема остановки - учитывая, что программа/алгоритм когда-нибудь остановится или нет? Остановка означает, что программа на определенном входе примет его и остановится или отвергнет его и остановится, и никогда не перейдет в бесконечный цикл. По сути, остановка означает прекращение работы.

Как доказал Тьюринг с помощью сложных математических вычислений, хотя мы можем знать это для некоторых конкретных программ, логически невозможно найти способ, который позволит нам знать это для каждой потенциальной программы, которая когда-либо может быть написана. Это возвращает нас к ИИ, который в сверхинтеллектуальном состоянии, возможно, сможет хранить в своей памяти все возможные компьютерные программы одновременно.

Любая программа, написанная, например, для того, чтобы остановить ИИ от причинения вреда людям и уничтожения мира, может прийти к определенному результату и остановиться или нет - математически невозможно быть абсолютно уверенным в любом случае, а значит, она не может быть сдерживаемой.

По словам ученых, альтернативой обучению ИИ этике и запрету на уничтожение мира - в чем ни один алгоритм не может быть абсолютно уверен - является ограничение возможностей сверхинтеллекта.

"Исследование отвергло и эту идею, предположив, что это ограничит сферу применения искусственного интеллекта; аргумент гласит: если мы не собираемся использовать его для решения задач, выходящих за рамки человеческих, то зачем вообще его создавать?

Если мы собираемся продвигать искусственный интеллект, мы можем даже не узнать, когда появится сверхинтеллект, неподвластный нашему контролю, настолько он непостижим. Это означает, что нам нужно начать задавать серьезные вопросы о том, в каком направлении мы движемся", - отметили ученые.

http://izzhizni.ru/blog/uchenye_utverzhdajut_chto_...t_nevozmozhno/2022-09-26-67474