как можно отделить поисковых ботов от остальных пользователей, и, при желании, выдать им отличный от других контент страницы, просто записать в лог посещение ботом или для других, более изощрённых целей.

Для начала нам нужен список адресов ботов. Конечно, можно определять ботов по User Agent заголовку, но это не слишком надёжно. Так любой желающий сможет, послав такой заголовок, получить контент, который ему, возможно, совсем не предназначается.

Хранить данные ботов мы будем в базе данных. Это, на мой взгляд, самый оптимальный способ. Итак, создаём в базе данных табличку для этих целей:

CREATE TABLE `bot_ips` (
  `id` int(11) NOT NULL auto_increment,
  `ip` varchar(25) NOT NULL,
  `bot` varchar(100) NOT NULL,
  PRIMARY KEY  (`id`),
  UNIQUE KEY `ipi` (`ip`)
) ENGINE=MyISAM

Теперь нам нужно чем-то её заполнить. Адреса мы будем брать отсюда: http://www.iplists.com/nw/.

Простой скриптик сделает для нас это:

mysql_connect("localhost","root","root");
mysql_select_db("mydatabase");
$strs = file('http://www.iplists.com/nw/google.txt');
for($i = 0; $i < count($strs); $i++ )
{
	if( $strs[$i][0] == '#' )
		continue;
	$str = trim($strs[$i],"\r\n ");
	
	mysql_query("INSERT IGNORE INTO bot_ips SET ip = '".mysql_real_escape_string($str)."', bot = 'google'");
}

$strs = file('http://www.iplists.com/nw/inktomi.txt');

for($i = 0; $i<  count($strs); $i++ )
{
	if( $strs[$i][0] == '#' )
		continue;
	$str = trim($strs[$i],"\r\n ");
	
	mysql_query("INSERT IGNORE INTO bot_ips SET ip = '".mysql_real_escape_string($str)."', bot = 'yahoo'");
}

$strs = file('http://www.iplists.com/nw/msn.txt');

for($i = 0; $i<  count($strs); $i++ )
{
	if( $strs[$i][0] == '#' )
		continue;
	$str = trim($strs[$i],"\r\n ");
	
	mysql_query("INSERT IGNORE INTO bot_ips SET ip = '".mysql_real_escape_string($str)."', bot = 'msn'");
}

$strs = file('http://www.iplists.com/nw/altavista.txt');

for($i = 0; $i<  count($strs); $i++ )
{
	if( $strs[$i][0] == '#' )
		continue;
	$str = trim($strs[$i],"\r\n ");
	
	mysql_query("INSERT IGNORE INTO bot_ips SET ip = '".mysql_real_escape_string($str)."', bot = 'altavista'");
}

Итак, данные нужных ботов мы сохранили. Если у тебя появится желание добавить в базу других ботов из списка - это просто сделать по аналогии.

Теперь нам нужно определить, бот ли к нам пришёл.

Напишем простую функцию:

function userIsBot()
{
	if( empty($_SERVER['REMOTE_ADDR']) )
		return false;
		
	$res = mysql_query("SELECT bot FROM bot_ips WHERE '".$_SERVER['REMOTE_ADDR']."' LIKE CONCAT(ip,'%') LIMIT 0,1");
	$row = mysql_fetch_assoc($res);

	if( empty($row) )
		return false;

	return $row['bot'];
}

Если к нам на страничку заглянул в гости бот, то функция вернёт имя этого бота.

Что делать с этой информацией дальше - дело твоё. Можешь не пустить его на страничку (но это проще сделать через robots.txt, большинство роботов слушается указаний из этого файла). Можешь выдать боту оптимизированную страничку, а можешь просто выдавать страничку только боту.