Robots meta etiketi ve X-Robots-Tag HTTP başlığı
Belirli site sayfalarının yüklenmesi ve dizinlenmesi için robotlara kuralları aşağıdaki yollardan biriyle belirtebilirsiniz:
robotsmeta etiketini sayfanın HTML kodununheadöğesinin içine yerleştirin.- Sitenizin sunucusundaki belirli bir URL için X-Robots-Tag HTTP başlığını yapılandırın.
Not
Sayfa robots.txt dosyasında yasaklanmışsa, meta etiket veya başlık direktifi geçerli olmaz.
Varsayılan olarak, arama robotları meta etiketi ve başlığı dikkate alır. Belirli robotlar için direktifler belirtebilirsiniz.
Yandex tarafından desteklenen direktifler
|
Direktif |
Açıklama |
Robots meta etiketi |
X-Robots-Tag üst bilgisi |
|
|
Sayfa metninin dizinlenmesini yasaklar. Sayfa arama sonuçlarına dahil edilmeyecektir. |
|
|
|
|
Sayfadaki bağlantıların takip edilmesini yasaklar. Robot siteyi tararken bağlantıları takip etmez, ancak diğer kaynaklardan bunları öğrenebilir. Örneğin, diğer sayfalarda veya sitelerde. |
|
|
|
|
|
|
|
|
|
Arama sonuçları sayfasında kaydedilmiş kopyaya bağlantının gösterilmesini yasaklar. |
|
|
|
|
Otomatik olarak oluşturulan bir açıklamanın kullanılmasını yasaklar. |
|
— |
|
|
İlgili yasaklayıcı direktifleri iptal eder. |
|
— |
|
|
Sayfadaki metin ve bağlantıların dizinlenmesine izin verir, |
|
— |
Robot varsayılan olarak izin direktiflerini kullanır, bu yüzden başka direktifler yoksa bunları atlayabilirsiniz. İzin direktifleri, hem izin hem de yasaklayıcı direktiflerin bir kombinasyonu varsa önceliklidir.
Diğer arama motorları ve hizmetlerin robotları, direktifleri farklı şekilde yorumlayabilir.
Örnek:
Sayfa dizinlemeyi devre dışı bırakan bir öğe.
<html>
<head>
<meta name="robots" content="noindex" />
</head>
<body>...</body>
</html>
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex
Sayfanın dizinlenmesini yasaklayan bir başlıkla HTTP yanıtı
Birden fazla direktif belirtme
<meta name="yandex" content="noindex, nofollow" />
Virgülle ayrılmış birden fazla direktif belirtebilirsiniz.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive
<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--The indexing bot will choose the “all” value. Text and links will be indexed.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Text and links will be indexed, but in the search results there will be no link
to the saved copy of the page.-->
Tek bir yanıtta birden fazla başlık ve virgülle ayrılmış direktif listesi geçebilirsiniz
Yandex robotu için çelişkili direktifler belirtilirse, olumlu bir değeri dikkate alacaktır.
<meta name="yandex" content="noindex" />
Meta etiket direktifleri örneği:
<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />
Ayrıca şuraya gidebilirsiniz:
