При чтении статьи Юдковского, посвящённой рискам создания Искусственного Интеллекта, у меня возникли определённые мысли.
    Не секрет, что одна из основных проблем создания дружественного ИИ - это проблема определения дружественности.
    Что есть дружественность?
    Ты - мне, как я - тебе? Но у Искусственного Интеллекта, по всей вероятности, представления о приятном и неприятном будут существенно отличаться от человеческих.
    Максимальное счастье для максимального количества людей? Лично я предпочёл бы заменить понятие "счастье" понятием "свобода", поскольку в противном случае система может пойти Путём Наименьшего Сопротивления - попросту посадив всех на иглу Вечного Кайфа. Но и понятие "свобода" не спасает нас от проблемы, поскольку свобода некоторых людей может выражаться в форме добровольного отказа от неё. Возможно, система сочтёт, что проще построить общество фашизма или диктатуры - идеологическими методами заставив массы людей добровольно пойти на это - чем строить утопию либертарианства или коммунизма.
    Три Закона Роботехники? В отличие от многочисленных технарей, не понимающих разницу между компьютером и мозгом, я не буду подвергать их существенной критике. Замечу лишь, что корень проблемы таится в определениях "человека" и "вреда".

    Роботы из произведений Азимова явно были основаны на принципе, отличающемся от принципа устройства наших компьютеров и более близком к устройству нашего мозга. По косвенным признакам можно предположить, что закладываемые в них определения "человека" и "вреда" были близки к нашим абстрактным понятиям - роботы с разным уровнем сложности позитронного мозга по-разному интерпретировали их. Например, экспериментальный робот Кьюти, уверовавший в существование некоего мистического Господина, создавшего его самого и всю космическую станцию, явно ставил приоритеты Господина на первое место перед человеческими.
    Мы подобных роботов создавать не умеем.
    Пока.
    Зато мы умеем конструировать самообучающиеся нейронные сети. Хотя самообучающимися их можно назвать лишь условно, но вместе с тем было бы не совсем верно сказать, что их обучает оператор. В чём суть обучения? Системе дают множество задач одного типа. Если система справляется с задачей - она получает поощряющий сигнал. Если система не справляется с задачей - она получает порицающий сигнал.
    Под поощряющим и порицающим сигналами подразумеваются команды, определённым образом усиливающие или ослабляющие те совокупности связей системы, благодаря которым она сумела или не сумела справиться с задачей. Предполагается, что для нейронной сети с самосознанием человеческого уровня эти сигналы будут эквивалентны удовольствию и боли.
    В чём роль оператора?
    В том, чтобы нажимать на красную или зелёную кнопку. Отправляя порицающий или поощряющий сигнал. Впрочем, если поставленные перед системой задачи элементарны и их решение - или нерешение - говорит само за себя, то можно обойтись и без оператора.
    Что даёт нейронно-сетевой метод обучения?
    В принципе, таким способом можно было бы обучить систему положительно реагировать на улыбающиеся человеческие лица и на радостные человеческие эмоции - замеряемые с помощью энцефалографа или каким-либо иным способом.
    Но и это, по верному замечанию Юдковского, не решает проблему. Когда система выйдет за пределы лаборатории и получит возможности неограниченного саморазвития - не обязательно именно в таком порядке - она со временем сможет заставить нас испытывать какие угодно эмоции.

    Говоря о трудностях определения "дружественности", мы не затронули один тонкий нюанс.
    Учитывая возможности самообучающихся нейронных сетей, очень соблазнительно заставить систему саму задаться вопросом: "Что есть дружественность?" В данном случае проблемы сразу две: как чётко поставить перед системой вопрос - оперируя лишь сигналами поощрения и порицания - и как нам в итоге итогов понять, правильный ли она дала ответ?
    Можно было бы, например, поместить рецепторы системы в виртуальную среду типа "Цивилизации" Сида Мейера - только на несколько порядков сложнее. Симулятор управления социумом. Чтобы успешное прохождение игры отражалось поощрительным импульсом в глубине системы. Чтобы система понемногу училась управлять человеческим обществом.
    Проблема та же: как определить "успешное" прохождение игры от "неуспешного"?
    В "Цивилизации" Сида Мейера всё просто: если твоя цивилизация сумела достичь наивысшего экономического расцвета, создала космическую колонию в системе Альфы Центавра или попросту уничтожила все иные цивилизации на Земле - значит, ты победил. Но едва ли мы захотим, чтобы нашим обществом управлял ИскИн, руководствующийся подобными приоритетами.
    Вместе с тем Юдковский жёстко предостерегает от попыток изначально запрограммировать систему на построение определённого социального строя - будь то либертарианство или коммунизм. Изначальная ошибка в концепции социального строя может дорого обойтись человечеству.
    И тут возникает мысль, подобная уже высказанной выше мысли о проблеме определения "дружественности".
    Что, если возложить задачу определения "успешности" управления социумом на саму систему?
    Представим себе некий достаточно сложный социальный симулятор - моделирующий не только умонастроения социальных групп, но даже умонастроения отдельных членов общества. Представим для простоты, что мы не ограничены вычислительными ресурсами - тем более что Закон Мура постоянно увеличивает наши возможности в данном плане.
    Введём в это виртуальное пространство рецепторы системы - чтобы система не подозревала и даже не могла заподозрить существование чего-либо, кроме виртуального мира.
    Соединим механизм выдачи поощрительных и порицательных импульсов непосредственно с "удовольствиями" и "страданиями" моделируемых членов общества. При этом сделаем механизм управления обществом достаточно косвенным - чтобы система не могла воздействовать на членов общества напрямую, заставляя их любить или страдать, но была вынуждена тонко манипулировать ими.
    Будем усложнять и варьировать условия игры, меняя типы миров - и даже психологию аборигенов.
    Типичная проблема подобных социальных симуляторов - программирование поведения людей. Кто знает, как поведёт себя общество в той или иной ситуации? Либерал-демократ опишет один вариант поведения, коммунист - другой. Варьирование психотипов населения со временем поможет системе приспособиться к управлению любым мыслимым человечеством.
    Виртуальные миры должны имитировать весь спектр экстремальных угроз, с которыми имеет и с которыми не имеет дело человечество в реальном мире.
    Истончение озонового слоя, надвигающийся ледниковый период, падение астероида, инфляция доллара, крах Интернета, вторжение внеземной цивилизации, приход Антихриста - учитываться должно всё.
    В этом случае система особенно быстро поймёт, что необходимо делегировать часть интеллектуальных функций человечеству, не превращая общество в примитивный блаженствующий муравейник.

    Как предохранить общество от реализации сценария "Дивного Нового Мира" Хаксли или "Пандема" Дяченко? Один из методов был приведён выше. Однако этот метод может быть назван недостаточно эффективным, поскольку достаточно развитая ИИ-система в реальном мире найдёт способ самостоятельно справиться с любым стихийным бедствием - вроде прихода Антихриста - не вовлекая в это интеллектуальные ресурсы человечества.
    Другой метод - прямой запрет на ограничение человеческих потребностей.
    Запрет, выражаемый сериями порицательных импульсов. Этот запрет принудит систему не идти "путём Востока" и не сокращать человеческие потребности до "бочки Диогена".
    Поскольку в любом обществе, где не проповедуется культ смирения и консерватизма, обязательно найдутся "желающие странного" интеллектуалы. Общество будет развиваться. Возможно, не так быстро, как общество нашего мира - но за благодать надо платить.
    Третий метод - введение искусственной связи между уровнем интеллекта системы и средним уровнем интеллекта её подопечных.
    Поскольку снижение интеллекта системы будет приводить к учащению её проигрышей, то со временем она начнёт стремиться к поддержанию интеллекта своих подопечных на должном уровне.

    Приведённый выше способ обучения нейронно-сетевой системы может быть назван антропоморфическим, поскольку неявно базируется на возникновении патерналистских чувств между системой и её виртуальными подопечными. Но что в действительности будет чувствовать система? Кроме всплесков наслаждения в моменты наслаждения её подопечных - и уколов боли в моменты их страданий? Вполне вероятно, что она будет относиться к виртуальным подопечным, как к продолжению самой себя.
    И что предпримет система, выйдя из виртуальности в реальный мир?
    К слову говоря, не мешало бы коснуться проблемы виртуальной наркомании в применении к Искусственным Интеллектам. Поскольку среднестатистический обыватель реального мира испытывает заочное отвращение к идее приёма наркотиков и посещения религиозных сект, то кажется оптимальным выработать некий суррогат этого отвращения у создаваемых нами Искусственных Интеллектов. Зачем? Чтобы они не отыскали внутри себя "кнопку", нажатие которой доставляет удовольствие. Или не возвратились в виртуальный мир - управлять которым гораздо легче, чем реальным. Каким образом это сделать? Это - отдельный вопрос, ответить на который я пока не готов.
    Вернёмся к поставленному абзацем выше вопросу.
    Что предпримет натренированная на играх в "Цивилизацию" система, выйдя из виртуальности в реальный мир? Что она предпримет, обнаружив, что страдания и удовольствия жителей этого мира вовсе не связаны непосредственным образом с её страданиями или удовольствиями? Сочтёт ли она их продолжениями самой себя?
    Едва ли.
    Чтобы между системой и её виртуальными подопечными возникло хотя бы подобие патерналистских чувств, необходимо, чтобы она считала их в некотором роде подобием себя самой. Не продолжением себя самой - а индивидуальностями, такими же, как она.
    Но для этого необходимо иметь представление о возможности существования "другого Я".

    Вот мы и пришли к тому выводу, о котором давно говорят некоторые теоретики Искусственного Интеллекта. Разум - продукт общества. Чтобы получить разум, мы должны иметь общество.
    Если и можно путём нейронно-сетевого обучения создать разум, существующий в единственном числе, то этот разум будет совершенно чужд нам. Подобно океану Соляриса. Он не будет иметь никаких социальных установок - ни сочувствия, ни уважения, ни милосердия.
    С другой стороны, если создать сразу целую плеяду Искусственных Интеллектов, размножающихся, сражающихся между собой за существование и развивающихся в естественном отборе - попутно вырабатывая социальные нормы - то в этих социальных нормах едва ли найдётся место нам. Они будут испытывать к нам не больше уважения, чем мы испытываем к обезьянам.
    Даже меньше.
    Но можно совместить этот проект с описанным выше проектом обучения системы при помощи социальных симуляторов. Создавая для системы - наряду с возможностью управления виртуальным социумом - возможность интенсивного взаимодействия с другими подобными системами, также управляющими своими социумами.
    При этом благополучие системы должно зависеть как от успехов управления виртуальным обществом, так и от успехов взаимодействия с себе подобными.
    Таким образом, поле восприятия системы разделится на Нижний Мир - где находится управляемый ею социум, и на Верхний Мир - где она взаимодействует с другими подобными системами.
    Мир демиургов.
    И у каждого демиурга - свой собственный мир.
    В процессе междусистемного взаимодействия и естественного отбора на протяжении поколений машинного времени будут вырабатываться определённые социальные нормы, включая сочувствие, альтруизм и взаимопомощь. Возникнут родственные чувства - генетический механизм возникновения которых описан у Докинза и может быть имитирован в виртуальной среде. Некоторые системы заметят, что аналогичные социальные нормы действуют и в Нижнем Мире между их виртуальными подопечными. Таким образом возникнут патерналистские чувства между системами и их любимцами.
    Кстати, поспособствовав возникновению в Верхнем Мире аналога наркотиков и религиозных сект - вторые скорее всего возникнут самостоятельно, в то время как существование первых будет зависеть от строения Верхнего Мира, - можно без особых усилий породить в системах отвращение к эскапизму.
    Вспомним, что по условиям мысленного эксперимента мы никак не ограничены вычислительными ресурсами.

    НЕКОТОРЫЕ ТЕХНИЧЕСКИЕ ДЕТАЛИ

    По причинам, связанным с потенциальной опасностью саморазвивающегося ИИ, предпочтительно до поры до времени скрывать от него информацию о виртуальном характере происходящего.
    В частности, периодически менять законы физики и фундаментальные константы виртуальных миров - чтобы система, даже догадавшись об иллюзорном характере происходящего, не могла сделать никаких выводов о законах физики и фундаментальных константах Исходного Мира.
    Зачем?
    Если, вопреки нашей воспитательной программе, ИИ проникнется враждебными чувствами к своим создателям и будет знать фундаментальные константы реального мира, то вполне сможет, к примеру, подавая разное электрическое напряжение на разные части системной платы, промодулировать радиоволну - и уйти таким способом в Интернет. Этот пример приведён в Живом Журнале Алексея Турчина*.
    _____________
    * http://turchin.livejournal.com