-Подписка по e-mail

 

 -Поиск по дневнику

Поиск сообщений в web_development

 -Статистика

Статистика LiveInternet.ru: показано количество хитов и посетителей
Создан: 09.03.2005
Записей:
Комментариев:
Написано: 418


Парсинг гугла

+ в цитатник

Cообщение скрыто для удобства комментирования.
Прочитать сообщение


shakirov   обратиться по имени Четверг, 01 Сентября 2005 г. 22:04 (ссылка)
Почитай про CURL.

тебе нужно передавать User-agent в загаловках. Т.е. прикинуться браузером.
Ответить С цитатой В цитатник
непобедимый   обратиться по имени Четверг, 01 Сентября 2005 г. 23:25 (ссылка)
Читай пхп-ман по fopen wrappers. В частности:
user_agent директива в php.ini задает the user agent for PHP to send при использовании fopen и иже с ним функций по отношению к урлам.
Ответить С цитатой В цитатник
zheleznodorzhnik   обратиться по имени Пятница, 02 Сентября 2005 г. 10:59 (ссылка)
непобедимый, Большое спасибо. Отредактировал php.ini теперь гугл думает, что я браузер. Все высылается отлично. Правда есть небольшая проблема с кодировками. Гугл шлет скрипту в UTF-8, я поставил в браузере эту кодировку. Только вот проблема еще в том, что если скрипт будет работать не у меня на локалхосте, то возможно будут с этим проблемы, так как в скрипте работаю с регулярными выражениями.
Ответить С цитатой В цитатник
непобедимый   обратиться по имени Пятница, 02 Сентября 2005 г. 11:54 (ссылка)
zheleznodorzhnik, поскольку на хостинге тебе вряд ли дадут править php.ini то глянь в сторону функеции ini_set
Насчет проблем с кодировкой - я на 100% уверен, что ПХП не смотрит какая у тебя кодировка указана в броузере. Он идет своими функциями на урл и сам кумекает в какой кодировке отдается контент. Так что этот потенциальный затык нету смысла принимать во внимание :)
Ответить С цитатой В цитатник
zheleznodorzhnik   обратиться по имени Пятница, 02 Сентября 2005 г. 13:35 (ссылка)
Не, во внимание все-таки это пришлось принимать. Нашел чью-то функцию, которая переводит KOI8-r в UTF8. Теперь все работает нормально. Шлю запросы в этой кодировке, и он мне выдает нужные страницы.
Ответить С цитатой В цитатник
shakirov   обратиться по имени Пятница, 02 Сентября 2005 г. 13:39 (ссылка)
zheleznodorzhnik, а что iconv() разве не рулит? :)))
Ответить С цитатой В цитатник
zheleznodorzhnik   обратиться по имени Пятница, 02 Сентября 2005 г. 15:09 (ссылка)
Для iconv()вроде бы нужно дополнительный модуль ставить. А мне нужно обходиться стандартными средствами
Ответить С цитатой В цитатник
shakirov   обратиться по имени Пятница, 02 Сентября 2005 г. 15:11 (ссылка)
да, увы iconv не все ставят сразу.. но модуль то это стандартный. т.ч. обычно без вопросов устанавливают.
Ответить С цитатой В цитатник
Комментировать К дневнику Страницы: [1] [Новые]
 

Добавить комментарий:
Текст комментария: смайлики

Проверка орфографии: (найти ошибки)

Прикрепить картинку:

 Переводить URL в ссылку
 Подписаться на комментарии
 Подписать картинку