BY Mogilev, 212027
+375445544244
ПОДЕЛИСЬ ЭТИМ
15-05-2018 14:30:00 167 Comments ollserg & MaxWeb for you

ROBOTS.TXT ДЛЯ DRUPAL

robots meta nofollow  Стандарт был принят консорциумом W3C 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин. Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться. Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.
 Файл состоит из записей. Записи разделяются одной или более пустых строк (признак конца строки: символы CR, CR+LF, LF).
  Каждая запись содержит непустые строки следующего вида: <поле>:<необязательный пробел><значение><необязательный пробел> где поле — это либо User-agent, либо Disallow.

Пример правильного robots.txt для Drupal:

User-agent: *
Disallow: /database/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /sites/
Disallow: /themes/
Disallow: /scripts/
Disallow: /updates/
Disallow: /profiles/
Disallow: /profile
Disallow: /profile/*
Disallow: /xmlrpc.php
Disallow: /cron.php
Disallow: /update.php
Disallow: /install.php
Disallow: /index.php
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: *register*
Disallow: *login*
Disallow: /top-rated-
Disallow: /messages/
Disallow: /book/export/
Disallow: /user2userpoints/
Disallow: /myuserpoints/
Disallow: /tagadelic/
Disallow: /referral/
Disallow: /aggregator/
Disallow: /files/pin/
Disallow: /your-votes
Disallow: /comments/recent
Disallow: /*/edit/
Disallow: /*/delete/
Disallow: /*/export/html/
Disallow: /taxonomy/term/*/0$
Disallow: /*/edit$
Disallow: /*/outline$
Disallow: /*/revisions$
Disallow: /*/contact$
Disallow: /*downloadpipe
Disallow: /node$
Disallow: /node/*/track$
Disallow: /*&
Disallow: /*%
Disallow: /*?page=0
Disallow: /*section
Disallow: /*order
Disallow: /*?sort*
Disallow: /*&sort*
Disallow: /*votesupdown
Disallow: /*calendar
Disallow: /*index.php 
Allow: /*?page=
Disallow: /*?
Host: vash_sait.ru (или www.vash_sait.ru) 
Sitemap: http://путь к вашей карте XML формата

 

баннеры

Индекс цитирования
Новости, новости Беларуси, последние новости, новости мира на Uvaga.By
Первый Каталог - Видео, аудио, фото техника

Контакты

212027 РБ Могилёв
Phone: +375 - 33-690-5554
Phone: +375 - 44-55-44-2-44
Email: maxweb.of.by(сабака)gmail.com
Открыть на карте