Как изменить скорость сканирования сайта роботом "Яндекса"

Опубликовано: 25.07.2008, 17:16 Автор: V-phantom
Тематика:
Как изменить скорость сканирования сайта роботом Пользуясь специальной инструкцией Crawl-delay в файле robots.txt, веб-мастеры могут менять продолжительность перерывов, которые делает поисковый робот "Яндекса" между запросами к серверу. Это может оказаться полезным в том случае, если "паук" создает чрезмерную нагрузку на сайт, и его нео... Читать оригинал новости

Комментарии
seomst
seomst
25.07.2008, 17:55 это спам!
0 голосов
Эта функция нужна фотохостингам, которые "пауки-индексаторы" сильно грузят. Для обычных сайтов в ней нет необходимости.
merovingian
merovingian
25.07.2008, 23:55 это спам!
0 голосов
Здорово! А как сделать так что бы робот проходил мой сайтец цаликом каждый день никто не знает?
KF-WEB
KF-WEB
26.07.2008, 20:08 это спам!
0 голосов
Я так думаю, что если это случиться, хостер Вас попросит куда нибудь съехать, еще и денег даст. :)
V-phantom
V-phantom
26.07.2008, 20:59 это спам!
0 голосов
Почему?
Добавьте комментарий
Для размещения комментария необходима регистрация или авторизация:
 пользователь:   
 запись OpenID: 


Заработай деньги
на своём сайте!
Новый сервис монетизации СМИ и блогов.
Приглашаем сайты к бета-тестированию →
Новости СМИ2

ТЕМА НЕДЕЛИ


Rambler's Top100