|
Mihail |
Дата: Воскресенье, 19.02.2012, 21:37 | Сообщение # 1 |
Сообщений: 36 ±
не в сети
|
Очень часто возникает вопрос о том, как правильно настроить этот файл. Открою Вам секрет - он уже настроен автоматически самой системой и его не нужно изменять. Вот так выглядит стандартный файл robots.txt на системе ucoz (в примере наш сайт):
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Sitemap: http://ulink.at.ua/sitemap.xml
Sitemap: http://ulink.at.ua/sitemap-forum.xml
Sitemap: http://ulink.at.ua/sitemap-shop.xml
Отсюда мы можем видеть, что закрыты от индексации все системные регистры, профили, чат, результаты поиска, админка, информеры и другое. Также в этом файле указаны пути к карте самого сайта, форума и магазина. Этот вариант такого файла самый удачный, так как в индекс будет попадать только контент, а не куча ненужного мусора и профили пользователей.
Поэтому, когда Вам говорят, что при оптимизации сайта Вам очень правильно настроят robots.txt, то не верьте, его не нужно настраивать, там изначально все отлично работает.
И пусть судьба не справедлива, но жизнь игра, играй красиво!
|
|
|
| |
