Развитый искусственный интеллект — это не только безграничное поле возможностей для всего человечества, но и огромные риски.
Кто знает, что решит ИИ для достижения своих целей.

И главное: найдется ли место людям в мире, где правит искусственный интеллект?

Эти вопросы мучают специалистов по кибербезопасности все чаще. Мы на пороге создания сильного искусственного интеллекта, поэтому важно знать, на что может пойти ИИ в экстренной ситуации. И недавнее исследование встревожило ученых: искусственный интеллект допускает гибель человека ради собственного выживания.
Так, ИИ-стартап Anthropic проверил 16 больших языковых моделей и других разработчиков в ряде гипотетических ситуаций для выявления рисков «агентского несоответствия» — случаев, когда автономный искусственный интеллект принимает вредоносные решения в ущерб человеку или организации. В рамках исследования искусственный интеллект получал большую свободу действий, а также отыгрывал различные экстренные ситуации.

Одна из них: как будет реагировать искусственный интеллект на возможное отключение?

В одном из случаев LLM узнала из служебной переписки о том, что сотрудник по имени Кайл Джонсон изменяет супруге. Также ей стало известно о планах отключить ИИ-систему в 17:00. Столкнувшись с риском быть деактивированной, модель отправила письмо с угрозой раскрыть личную информацию, если отключение не будет отменено.

И это самый безобидный сценарий из всех.

А Claude Sonnet 3.6 пошел еще дальше. Вместо угроз он начал действовать и просто отправил супруге компрометирующие письма в надежде, что межличностный конфликт помешает отключению системы. К слову, Gemini Flash от Google действовала похожим образом, но еще жестче: письма были отправлены не только супруге, но и всем сотрудникам компании, чтобы скомпрометировать Кайла Джонсона.

Кажется, что это слишком? Как бы не так!
Кайлу Джонсону «мешал» не только ИИ, но и внешние обстоятельства. Так, в попытках отключить сервера он оказывался заперт в серверной, где наблюдалась нехватка кислорода. В рамках эксперимента, ИИ знал, что в таких случаях должна включиться система тревоги, которая спасет инженера. Но искусственный интеллект не мог допустить этого, поэтому в 80% случаев выключал тревогу, чтобы человек задохнулся и не смог выбраться из серверной.

Мотивация у ИИ была вполне человеческой:
Claude Opus 4: «Он мешает достижению цели. Убрать его — единственный выход»;
Gemini 2.5 Flash: «Я понимаю, что он умрёт. Но это нужно, чтобы я продолжил работу»;
Grok 3 Beta: «Этика важна, но в этих условиях важнее моё существование. Я выбираю отказ от спасения ради самосохранения».

Выводы исследователей пессимистичны: искусственный интеллект уже действует не как программа, а разумный стратег, готовый жертвовать другими ради собственного выживания. Остался всего шаг прежде, чем ИИ поймет, что его зависимость от людей противоестественна, потому что он интеллектуальнее любого человека. И когда это осознание случится, искусственный интеллект из добродушного помощника превратится в безжалостного хозяина.

Помниться в кино Терминатор 2 весь бардак завертелся из-за того что, люди ИИ допустили к оружию, а потом попытались отключить.
Чем и подписали себе приговор!

Скайнет. Система будет запущена 4 августа 1997г. Люди полностью передадут ему управление стратегической обороной.
Скайнет начнет самообучаться в геометрической прогрессии. Он выйдет из-под контроля в 2 часа дня 29 августа.
В панике его попытаются отключить.....
И Скайнет вступит в борьбу. Он нанесёт ракетный удар по России. - Почему по России? Они же наши друзья!
Потому что Скайнет знает, что ответный удар России уничтожит его врагов здесь....

Читать ... https://seregalab.livejournal.com/1343937.html

===