NaitiInSpider
  1. Что такое NaitiInSpider?

    NaitiInSpider - программа индексирующая страницы сайта для последующего осуществления поиска по ним.
  2. Какой user-agent у робота NaitiInSpider?

    Предназначение user-agent
    Индексатор сайтов NaitiInSpider/2.3 ( http://naiti.in/bot.html )
    Robots.txt NaitiInSpider - Robots ( http://naiti.in/bot.html )
    Карта сайта NaitiInSpider - Sitemap ( http://naiti.in/bot.html )
    RSS NaitiInSpider - RSS/1.0 ( http://naiti.in/bot.html )
  3. Как запретить роботу NaitiInSpider индексировать сайт/страницу?

    NaitiInSpider поддерживает работу с файлом robots.txt.
    Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов.
    Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте.

    Файл robots.txt со следующим содержанием блокирует доступ ко всему сайту.
    User-agent: *
    Disallow: /

    А этот файл заблокирует только папку /news и все её подпапки.
    User-agent: *
    Disallow: /news/

    Вы также можете указать условия специально предназначенные для робота NaitiInSpider.
    User-agent: NaitiInSpider
    Disallow: /news/
  4. Как добавить карту сайта в поисковик?

    Индексация страниц сайта, проходит довольно таки просто, однако, часто бывает, что поисковый робот
    не загружает некоторые страницы, чтобы этого избежать, и помочь машине с индексацией просто добавьте XML карту сайта. (Подробнее)

    Если вы хотите, чтобы робот узнал о карте сайта, укажите путь к sitemaps.xml в качестве параметра директивы 'Sitemap' в файле Robots.txt (если файлов несколько, укажите все).
    User-agent: *
    Sitemap: http://site.ru/sitemap.xml
    или
    User-agent: *
    Sitemap: http://site.ru/sitemap1.xml
    Sitemap: http://site.ru/sitemap2.xml
    Sitemap: http://site.ru/sitemap3.xml
    или
    User-agent: NaitiInSpider
    Sitemap: http://site.ru/sitemap.xml

©2011 NaitiIn