Компания Google сделала возможность запретить сканирование сайта роботами, использующимися для обучения нейросетей компании.

Скрыть содержимое сайта можно от роботов Bard и VertexAI, при этом такой запрет не повлияет на индексирование сайта самим поисковиком. Для этого нужно добавить в robots.txt соответствующую запись.

С расширением базы моделей ИИ Google планирует автоматически расширять и возможность запрета индексации сайта этими ИИ.

>>> Перечень всех ботов и способы их отключения

Ранее в августе этого года подобную функицональность представила компания OpenAI, реализовав запрет индексации сайта ботами ChatGPT.

google, искусственный интеллект, нейронные сети

https://www.linux.org.ru/news/google/17365498