SEO

Генератор Robots.txt


По умолчанию - All Robots are:  
    
Crawl-Delay:
    
Карта сайта (Sitemap): (оставить чистым, если нет) 
     
Поисковые роботы: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Закрыть каталоги от индексирования: Путь относится к корню и должен содержать в конце слеш (/). "/"
 
 
 
 
 
 
   



Далее: Создайте файл 'robots.txt' в корне Вашего сайта. Скопируйте полученное и вставьте в файл.


Генератор Robots.txt

Robots.txt - специальный текстовый файл, размещаемый в корне каждого сайта. Данный документ содержит подробные инструкции для поисковых роботов относительно того, что им надо индексировать, а что - нет. Првильная настройка Robots.txt обязательна, если Вам необходима корректная и быстрая индексация Вашего сайта.
Как создать правильный Robots.txt?Эффективное и быстрое решение для создания и настройки Robots.txt – воспользоваться онлайн сервисом на нашем сайте. В результате работы генератора Robots.txt Вы получите текст, который необходимо сохранить в файл под названием robots.txt и загрузить в корневой каталог Вашего сайта.