Возникла такая проблема
Потребовалось сделать на сайте 301 редирект что он с www.lipetsk-web.ru перекидывал на http://lipetsk-web.ru/
Прописал в .htaccess следующее:
#all domain name
RewriteCond %{HTTP_HOST} .
#except domain name = «lipetsk-web.ru»
RewriteCond %{HTTP_HOST} !^lipetsk-web\.ru
#redirect to lipetsk-web.ru
RewriteRule (.*) http://lipetsk-web.ru/$1 [R=301,L]
Все заработало, редиректит без проблем, но возникла проблема, Яндекс потерял файл Robots.txt.
Пишет "Не удалось загрузить robots.txt."
Сам файл robots.txt
User-Agent: Googlebot
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
User-Agent: Yandex
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Host: http://lipetsk-web.ru/
Crawl-delay: 3
User-Agent: *
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Sitemap: http://lipetsk-web.ru/sitemap.xm
Host: менял по разному и с www и без все равно. Но как убираю редирект Яндекс его сразу начинает видеть.
Где ошибка?