Файл robots.txt

[Леонид]

Здравствуйте!

На новый сайт lextext.ru мне нужен файл robots.txt. Как его делать, я представляю очень и очень туманно. Не умею я этот файл создавать, короче говоря.

И вот вопрос: а можно ли мне просто скопировать текст файла robots.txt, который размещён в корневой папке моего нынешнего сайта наполнение-юридических-сайтов.рф и перенести его в папку сайте lextext.ru? Короче говоря, скопировать файл?

Сайты эти два практически ничем не отличаются.

Кто знает, коллеги, можно так?

[garry]

если тот же движок и структура, нет чегото нового, что надо закрыть или открыть, то можно и перенести.
Только главное зеркало и карту прописать соответственно от нового сайта.

[Леонид]

Гарри, а что такое главное зеркало и где взять карту?

Структура немного изменена. Например, на старом сайте была страница "портфолио" в меню. На новом сайте страница "портфолио" имеет две подстраницы - "примеры статей" и "кейсы". Это надо как-то учитывать?

[garry]

Посмотрел, у вас там wp, так что можете типо того

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /clients/
Disallow: /project-view/
Disallow: /*trackback
Disallow: /*feed
Disallow: /*qwerty
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /goto
Sitemap: http://lextext.ru/sitemap.xml

User-agent: Googlebot
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-includes/*.js
Allow: /wp-content/uploads/*.png
Allow: /wp-content/uploads/*.gif
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /clients/
Disallow: /project-view/
Disallow: /*trackback
Disallow: /*feed
Disallow: /*qwerty
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /goto
Sitemap: http://lextext.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /clients/
Disallow: /project-view/
Disallow: /*trackback
Disallow: /*feed
Disallow: /*qwerty
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /goto
Host: lextext.ru # или с www если так выбрали и стоит 301 редирект
Sitemap: http://lextext.ru/sitemap.xml

------

Вот это для мобильного по требованиям гугла открываем скрипты и тд

Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-includes/*.js
Allow: /wp-content/uploads/*.png
Allow: /wp-content/uploads/*.gif

Вот это если стоит плагин редиректа
Disallow: /goto

карта сайта
Sitemap: http://lextext.ru/sitemap.xml

Главное зеркало для яндекса.
Host: lextext.ru
Для гугла 301 редирект в  .htaccess

Пример с www на без www, убираем дубль сайта

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST}   ^www\.(.*)   [NC]
RewriteRule ^(.*)$ http://%1/$1   [R=301,L]

[Леонид]

Гарри, спасибо, а может, Вы мне лучше на коммерческой основе сделаете этот файл?

[garry]

Дык скопируйте что я дал выше в роботс и в принципе все ок будет. Единственно определитесь с www домен будет или без, так зеркало и запишите, а мой коммент на этот счет удалите.

Далее в файл  .htaccess там же он в корне добавьте и будет без www, собственно так в роботс и запишите, все равно молодой сайт.

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST}   ^www\.(.*)   [NC]
RewriteRule ^(.*)$ http://%1/$1   [R=301,L]

Нужно учесть только один момент, строчка RewriteEngine On  должна быть одна в файле и если уже такая есть, то
Options +FollowSymLinks
RewriteCond %{HTTP_HOST}   ^www\.(.*)   [NC]
RewriteRule ^(.*)$ http://%1/$1   [R=301,L]

Проверьте набрав в адресной строке ваш сайт с www, если все корректно, то отработает редирект и увидите переход моментальный на ваш сайт без www

[Леонид]

Гарри, скопировать... Скопировать можно, а с редиректом что делать? Редиректа у меня ещё нет, не поставлен, как его ставить, я не знаю тоже)

[garry]

Это в роботс

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /clients/
Disallow: /project-view/
Disallow: /*trackback
Disallow: /*feed
Disallow: /*qwerty
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /goto
Sitemap: http://lextext.ru/sitemap.xml

User-agent: Googlebot
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-includes/*.js
Allow: /wp-content/uploads/*.png
Allow: /wp-content/uploads/*.gif
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /clients/
Disallow: /project-view/
Disallow: /*trackback
Disallow: /*feed
Disallow: /*qwerty
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /goto
Sitemap: http://lextext.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /clients/
Disallow: /project-view/
Disallow: /*trackback
Disallow: /*feed
Disallow: /*qwerty
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /goto
Host: lextext.ru # или с www если так выбрали и стоит 301 редирект
Sitemap: http://lextext.ru/sitemap.xml


Это в .htaccess как писал выше, вот это 301 редирект

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST}   ^www\.(.*)   [NC]
RewriteRule ^(.*)$ http://%1/$1   [R=301,L]


для вот этого нужно поставить плагин и он для ссылок внешних размещенных в статьях, может он вам и не нужен совсем и комментарии закрыты и ни кто не будет ссылки размещать
если нужен, просто ставите плагин
Вот это если стоит плагин редиректа
Disallow: /goto

[Леонид]

Спасибо, Гарри, я Ваш должник!

[garry]

один из плагинов редиректа, использую частенько WP No External Links

[Kashchey]

Garry, задача с которой мне не справиться   

Есть 118 загруженных страниц, из них 81 исключенных
72 из них: "документ запрещен в файле robots.txt"

Но при анализ robots.txt выясняется, что некоторые страницы ( штук 15-20) не запрещены в файле robots.txt и должны быть там (в индексе, как минимум!)
Сайту 2 месяца, почти 3.

Яндекс и правда такой идиот или это я кретин ничего не понимаю? (может руки разработчиков Яндекса ненамного прямее угла в 90 градусов?)