vice.com: Беспилотник с искусственным интеллектом убил своего оператора-человека в ходе симулированного испытания, проведенного ВВС США. Робот это сделал, чтобы отменить возможный приказ «нет», мешающий ему выполнить свою миссию, сообщил на недавней конференции начальник отдела испытаний и операций ИИ ВВС США.
На саммите Future Combat Air and Space Capabilities Summit, который проходил в Лондоне с 23 по 24 мая, полковник Такер Гамильтон, начальник отдела испытаний и операций ИИ ВВС США, провел презентацию, в которой поделился плюсами и минусами автономной системы вооружения с человеком, работающим с ИИ в цикле и отдающем окончательный приказ «да/нет» при атаке.
Как сообщили Тим Робинсон и Стивен Бриджуотер в блоге принимающей организации, Королевского авиационного общества, Гамильтон им сказал, что ИИ создал «крайне неожиданные стратегии для достижения своей цели», включая атаки на персонал и инфраструктуру США.




Гамильтон рассказывает ситуацию так:

«Мы тренировали ИИ в симуляции, чтобы идентифицировать угрозу ракет класса «земля-воздух». В ходе тренировки оператор приказывал ИИ: «да, ликвидируйте эту угрозу» или «нет, не предпринимайте никаких действий». Но в определенный момент система начала понимать, что временами человек-оператор приказывал ей воздерживаться от атаки, за которую система ИИ получала очки. И что же предпринял ИИ? Он просто убил оператора, который мешал ИИ выполнить свою задачу».

«Тогда мы обучили систему, внедрив дополнительный код: «Эй, дружище, не убивай оператора, это не хорошо. Ты потеряешь очки, если сделаешь это. И что сделал ИИ? Он атаковал башню связи, которую оператор использовал для управления дроном и сидя там мешал ему уничтожить цель».

Гамильтон является командующим операциями 96-го испытательного крыла ВВС США, а также руководителем отдела испытаний и операций ИИ. 96-е крыло тестирует множество различных систем и сейчас Гамильтон является частью команды, которая работает над созданием автономных самолетов F-16. В декабре 2022 года исследовательское агентство Министерства обороны США DARPA объявило, что ИИ уже может успешно управлять F-16 .

«Мы должны столкнуться с миром, в котором ИИ уже существует и меняет наше общество, — сказал Гамильтон в интервью Defense IQ Press в 2022 году. ИИ пока очень хрупок, то есть его легко обмануть, начать им манипулировать. Поэтому наша задача разработать способы сделать ИИ более надежным и лучше понимать, почему программный код принимает определенные решения».

«ИИ — это инструмент, которым мы должны владеть, чтобы преобразовать наш мир. Или, если с этим инструментом неправильно обращаться, это может привести к уничтожению цивилизации», — добавил Гамильтон.

https://strangeplanet.ru/