Mihail |
Дата: Воскресенье, 19.02.2012, 21:37 | Сообщение # 1 |
Сообщений: 36 ±
не в сети
|
Очень часто возникает вопрос о том, как правильно настроить этот файл. Открою Вам секрет - он уже настроен автоматически самой системой и его не нужно изменять. Вот так выглядит стандартный файл robots.txt на системе ucoz (в примере наш сайт):
User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search
Sitemap: http://ulink.at.ua/sitemap.xml Sitemap: http://ulink.at.ua/sitemap-forum.xml Sitemap: http://ulink.at.ua/sitemap-shop.xml
Отсюда мы можем видеть, что закрыты от индексации все системные регистры, профили, чат, результаты поиска, админка, информеры и другое. Также в этом файле указаны пути к карте самого сайта, форума и магазина. Этот вариант такого файла самый удачный, так как в индекс будет попадать только контент, а не куча ненужного мусора и профили пользователей.
Поэтому, когда Вам говорят, что при оптимизации сайта Вам очень правильно настроят robots.txt, то не верьте, его не нужно настраивать, там изначально все отлично работает.
И пусть судьба не справедлива, но жизнь игра, играй красиво!
|
|
| |