Читай пхп-ман по fopen wrappers. В частности:
user_agent директива в php.ini задает the user agent for PHP to send при использовании fopen и иже с ним функций по отношению к урлам.
непобедимый, Большое спасибо. Отредактировал php.ini теперь гугл думает, что я браузер. Все высылается отлично. Правда есть небольшая проблема с кодировками. Гугл шлет скрипту в UTF-8, я поставил в браузере эту кодировку. Только вот проблема еще в том, что если скрипт будет работать не у меня на локалхосте, то возможно будут с этим проблемы, так как в скрипте работаю с регулярными выражениями.
zheleznodorzhnik, поскольку на хостинге тебе вряд ли дадут править php.ini то глянь в сторону функеции ini_set
Насчет проблем с кодировкой - я на 100% уверен, что ПХП не смотрит какая у тебя кодировка указана в броузере. Он идет своими функциями на урл и сам кумекает в какой кодировке отдается контент. Так что этот потенциальный затык нету смысла принимать во внимание :)
Не, во внимание все-таки это пришлось принимать. Нашел чью-то функцию, которая переводит KOI8-r в UTF8. Теперь все работает нормально. Шлю запросы в этой кодировке, и он мне выдает нужные страницы.