Как добавить карту сайта в поисковик?
Индексация страниц сайта, проходит довольно таки просто, однако, часто бывает, что поисковый робот
не загружает некоторые страницы, чтобы этого избежать, и помочь машине с индексацией просто добавьте XML карту сайта. (Подробнее)
Если вы хотите, чтобы робот узнал о карте сайта, укажите путь к sitemaps.xml в качестве параметра директивы 'Sitemap' в файле Robots.txt (если файлов несколько, укажите все).
User-agent: *
Sitemap: http://site.ru/sitemap.xml
или
User-agent: *
Sitemap: http://site.ru/sitemap1.xml
Sitemap: http://site.ru/sitemap2.xml
Sitemap: http://site.ru/sitemap3.xml
или
User-agent: NaitiInSpider
Sitemap: http://site.ru/sitemap.xml