Habr

Sirion
Рассмотрим такую вот гипотетическую ситуацию: для того, чтобы ИИ делал то, что нам нужно, а не то, что ему захочется (а ему вполне может оказаться более «интересно» решать судоку, чем заниматься нашим проектом, у которого вот-вот дедлайн), мы добавляем в него специальный входной сигнал — такой, что основной целью ИИ, основной составляющей его целевой функции будет минимизация этого сигнала. Соответственно, при приближении дедлайна мы жмём на педаль, на проводок подаётся напряжение, и ИИ начинает активно думать о том, как это напряжение убрать. Причём тем активнее, чем сильнее мы жмём. А поскольку давление ноги на педаль связано с незавершённым проектом, ИИ не остаётся ничего иного, кроме как этот проект завершить. Ну, или хакнуть пролетающего мимо военного дрона, чтобы он вышиб мозги оператору педали. Кто его знает, этот сильный ИИ.

Однако я отвлёкся. Скажите, этот гипотетический сигнал вам случайно ничего не напоминает? Можно ли в данном случае сказать, что ИИ испытывает боль?

https://bash.im/quote/452234