UMIhelp

Разработка сайта на UMI.CMS => Настройка системы и модулей => Тема начата: korogan от 24 Августа 2011, 13:45:47

Название: 301 редирект и robots.txt
Отправлено: korogan от 24 Августа 2011, 13:45:47
Возникла такая проблема

Потребовалось сделать на сайте 301 редирект что он с www.lipetsk-web.ru перекидывал на http://lipetsk-web.ru/
Прописал в .htaccess следующее:

#all domain name
RewriteCond %{HTTP_HOST} .
#except domain name = «lipetsk-web.ru»
RewriteCond %{HTTP_HOST} !^lipetsk-web\.ru
#redirect to lipetsk-web.ru
RewriteRule (.*) http://lipetsk-web.ru/$1 [R=301,L]

Все заработало, редиректит без проблем, но возникла проблема, Яндекс потерял файл Robots.txt.
Пишет "Не удалось загрузить robots.txt."
Сам файл robots.txt

User-Agent: Googlebot
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php

User-Agent: Yandex
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php

Host: http://lipetsk-web.ru/
Crawl-delay: 3
User-Agent: *
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php

Sitemap: http://lipetsk-web.ru/sitemap.xm

Host: менял по разному и с www  и без все равно. Но как убираю редирект Яндекс его сразу начинает видеть.

Где ошибка?
 
Название: Re:301 редирект и robots.txt
Отправлено: albion от 24 Августа 2011, 18:40:02
А как проверяется в Яндексе robots.txt, если www.lipetsk-web.ru/robots.txt, то Яндекс будет получать 301 код, а не 200 - соответственно его и не видит, а если так lipetsk-web.ru/robots.txt, то должен увидеть
Название: Re:301 редирект и robots.txt
Отправлено: korogan от 25 Августа 2011, 22:32:38
Проблема в том что при добавлении сайта в Яндекс он его не хочет добавлять без WWW
Как я только не пробовал. А где копать не пойму.