Больше полутысячи имен(User-Agents) ботов

Опубликовано: 03.06.2008, 02:34 Автор: Hkey
Тематика: роботы ,  веб. сервисы ,  боты ,  seo ,  robots.txt
Больше полутысячи имен(User-Agents) ботов Список названий роботов поисковых машин и веб. сервисов. Будет полезен при составлении robots.txt Читать оригинал новости

Комментарии
Voeslav
Voeslav
03.06.2008, 11:30 это спам!
0 голосов
Неуели вы все эти имена забиваете в robots? Достаточно, по моему, разрешить доступ основным ботам и запретить не указанным в robots.txt
(ответить)
Добавьте комментарий
Для размещения комментария необходима регистрация или авторизация:
 пользователь:   
 запись OpenID: 


Заработай деньги
на своём сайте!
Новый сервис монетизации СМИ и блогов.
Приглашаем сайты к бета-тестированию →
Новости СМИ2

Обсуждаемые новости
Старые персонажи на новый лад
Старые персонажи на новый лад 126
Статья с угрозами в адрес Саакашвили - инсинуация. Пресс-служба Путина
Статья с угрозами в адрес Саакашвили - инсинуация. Пресс-служба Путина85
СМИ2: Перезагрузка
СМИ2: Перезагрузка33
Рубль обреченный
Рубль обреченный28
Смотреть в лицо Путина - все равно, что заглядывать в дуло заряженного ружья
Смотреть в лицо Путина - все равно, что заглядывать в дуло заряженного ружья20
Ющенко заявил в Интернете о победе на выборах
Ющенко заявил в Интернете о победе на выборах19
Голландцы создают конкурента Windows и Linux
Голландцы создают конкурента Windows и Linux15
ТЕМА НЕДЕЛИ
Архив тем недели


Rambler's Top100
Пошив шуб Новосибирск. Меховые ателье, пошив шуб.