-
Что такое NaitiInSpider?
NaitiInSpider - программа индексирующая страницы сайта для последующего осуществления поиска по ним. -
Какой user-agent у робота NaitiInSpider?
Предназначение user-agent Индексатор сайтов NaitiInSpider/2.3 ( http://naiti.in/bot.html ) Robots.txt NaitiInSpider - Robots ( http://naiti.in/bot.html ) Карта сайта NaitiInSpider - Sitemap ( http://naiti.in/bot.html ) RSS NaitiInSpider - RSS/1.0 ( http://naiti.in/bot.html ) -
Как запретить роботу NaitiInSpider индексировать сайт/страницу?
NaitiInSpider поддерживает работу с файлом robots.txt.
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов.
Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте.
Файл robots.txt со следующим содержанием блокирует доступ ко всему сайту.
User-agent: *
Disallow: /
А этот файл заблокирует только папку /news и все её подпапки.
User-agent: *
Disallow: /news/
Вы также можете указать условия специально предназначенные для робота NaitiInSpider.
User-agent: NaitiInSpider
Disallow: /news/ -
Как добавить карту сайта в поисковик?
Индексация страниц сайта, проходит довольно таки просто, однако, часто бывает, что поисковый робот
не загружает некоторые страницы, чтобы этого избежать, и помочь машине с индексацией просто добавьте XML карту сайта. (Подробнее)
Если вы хотите, чтобы робот узнал о карте сайта, укажите путь к sitemaps.xml в качестве параметра директивы 'Sitemap' в файле Robots.txt (если файлов несколько, укажите все).
User-agent: *или
Sitemap: http://site.ru/sitemap.xml
User-agent: *или
Sitemap: http://site.ru/sitemap1.xml
Sitemap: http://site.ru/sitemap2.xml
Sitemap: http://site.ru/sitemap3.xml
User-agent: NaitiInSpider
Sitemap: http://site.ru/sitemap.xml