Използване на файла robots.txt
Роботи и файла robots.txt
Rambler, както и други търсачки за намиране и индекс на Интернет ресурси програмата използва робот. Робот изтегляне документи от интернет, намиране в тях позоваване на други документи, файлове за изтегляне новооткритите документи и да намерят в тях справки, и така нататък, докато всички интерес ще заобикаля територията на уеб сайта. Нашият робот ", наречена" StackRambler.
Ако роботът открива този документ, всички по-нататъшни действия на индексирането на сайта се извършват в съответствие с инструкциите robots.txt. Можете да забраните достъпа до определени папки и / или файловете на сайта си, като робот роботи или роботи за търсене на двигателя.
Въпреки това, инструкциите на файла robots.txt (като роботи мета тагове. Cm. [Viseditor.php? Ie_ver_ms = 6sid = root_biblioteka-optimizatora_rambler_rambler-indexfld = textclrqstart = 1138739826000deslocal = 1049 # 1 по-долу]), следвани от само така наречените "учтиви" роботите - сред които Rambler индексиращия робот, разбира се, се отнася.
Поставянето на файла robots.txt
Робот търси robots.txt само в основната директория на вашия сървър. тук се отнася до името на домейна под името на сървъра, и ако е така, на пристанището.
За да се постави на мястото на няколко файла robots.txt. robots.txt поставени в поддиректории (включително поддиректории www.hostsite.ru/ типове потребители
user1 /) е безсмислен, "екстра" на файлове, просто няма да се считат за един робот. По този начин, цялата информация за поддиректориите на индексирането на сайта Предотвратяване трябва да се събира в една и съща файла robots.txt на "корен" на сайта.
Robots.txt име трябва да се въведе с малки букви (малки), както и имената на Интернет ресурси (URI) е от значение.
По-долу са примери за правилно и неправилно robots.txt разположение.
robots.txt файлов формат
Следната проста файла robots.txt предотвратява индексирането на всички страници на сайта на всички роботи, освен Rambler на робот, който, напротив, позволи индексиране на всички страници на сайта.
# Инструкции за всички роботи
User-Agent: *
Disallow: /
# Инструкции за Rambler на робот
User-Agent: StackRambler
Забрани:
инструкции за индивидуални групи на роботи: User-Agent
Всеки файл robots.txt се състои от групи от инструкции. Всеки един от тях започва с низ от потребителя агент показва, към която роботи са следните го Забрани инструкции.
Всеки робот има своя собствена група от инструкции, написани. Това означава, че роботът може да се спомене само на един ред от потребителя агент. и всеки ред от потребителя агент може да бъде посочен само един робот.
Изключение е низ от потребителя агент е: *. Това означава, че тя се отнася за следното забранете всички роботи, различни от тези, за които има своя линия User-агент.
Във всяка група представи линия User-агент. трябва да бъде най-малко една инструкция Disallow. Забрана за броя на инструкции не се ограничава.
Низът "Disallow: / реж" забранява посещение на всички страници на сървъра, пълното име на което (сървър корен) започва с "/ реж." Например: "/dir.html", "/dir/index.html", "/directory.html".
За да се забрани посещението е директорията "/ реж", инструкцията трябва да е в следния формат: "Disallow: / реж /".
За да бъдат нещо забранено, е посочено в пътя й трябва да започва с "/". Съответно, инструкция "Disallow:" не забранява нещо, което е, всички разрешителни.
Забележка: по същия начин и инструкция "Disallow: *", "Disallow: * .doc", "Забрани: /dir/*.doc" не забранява нищо, защото файловете, които започват със звездичка или съдържа тя не съществува! Използване на регулярни изрази в низове разрешението си. както и в файла robots.txt на всички, не е предвидено.
Празни редове са разрешени между групите инструкции администрирани от потребителя агент.
Забрани Инструкция взети под внимание само ако това е предмет на User-Agent низ - това е, ако има по-висок низ от потребителя агент.
Използване на META-таг "Роботи"
Инструкции за индексиране записва в полето за съдържание. Инструкциите по-долу:
По подразбиране: .
В следващия пример, роботът може да индексира документа, но не трябва да бъдат изолирани от своите връзки, за да намерите допълнителни документи:
табелката с името, имена на полета и стойности са чувствителни към регистъра.
В дублиране инструкция съдържание, наличието на противоречиви инструкции и т.н. Не е разрешено; по-специално, стойността на полето за съдържание не може да бъде под формата на "никой, Nofollow".
ЗНАЕТЕ ЛИ, ЧЕ:
Свързани статии