Знаешь анекдот, когда джин предложил человеку исполнить любое его желание, только сосед получит в два раза больше? В результате человек загадал, чтоб ему 1 глаз выкололи. Так вот - это не анекдот.
Ты будешь смеяться, но оценочная функция у того человека вполне себе штатно отработала. Он просто пытался максимизировать разницу между полученным им и полученным соседом по множеству желаний Х-2Х. А так как лишиться обоих глаз на порядок хуже, чем лишиться одного, он выбрал такое желание. Логично, но логика это реально машинная.