[korogan]

Возникла такая проблема

Потребовалось сделать на сайте 301 редирект что он с www.lipetsk-web.ru перекидывал на http://lipetsk-web.ru/
Прописал в .htaccess следующее:

Код: [Выделить]

#all domain name
RewriteCond %{HTTP_HOST} .
#except domain name = «lipetsk-web.ru»
RewriteCond %{HTTP_HOST} !^lipetsk-web\.ru
#redirect to lipetsk-web.ru
RewriteRule (.*) http://lipetsk-web.ru/$1 [R=301,L]

Все заработало, редиректит без проблем, но возникла проблема, Яндекс потерял файл Robots.txt.
Пишет "Не удалось загрузить robots.txt."
Сам файл robots.txt

Код: [Выделить]

User-Agent: Googlebot
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php

User-Agent: Yandex
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php

Host: http://lipetsk-web.ru/
Crawl-delay: 3
User-Agent: *
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php

Sitemap: http://lipetsk-web.ru/sitemap.xm 

Host: менял по разному и с www  и без все равно. Но как убираю редирект Яндекс его сразу начинает видеть.

Где ошибка?
 

[albion]

А как проверяется в Яндексе robots.txt, если www.lipetsk-web.ru/robots.txt, то Яндекс будет получать 301 код, а не 200 - соответственно его и не видит, а если так lipetsk-web.ru/robots.txt, то должен увидеть

[korogan]

Проблема в том что при добавлении сайта в Яндекс он его не хочет добавлять без WWW
Как я только не пробовал. А где копать не пойму.