Robots.txt dosyasını kullanma
Robots.txt arama motoru robotları için site dizinleme parametrelerini içeren bir metin dosyasıdır. İçinde robots.txt, botların web sitesi sayfalarını dizinlemesini kısıtlayabilir, bu da sitenin yükünü azaltabilir ve performansını hızlandırabilir.
Not
Kısıtlanan sayfalar robots.txt içinde Yandex aramasına katılabilir. Sayfaları aramadan kaldırmak için, sayfanın HTML kodunda noindex direktifini belirtin veya HTTP başlığını yapılandırın. Bu tür sayfaları robots.txt dosyası içinde kısıtlamayın, aksi takdirde Yandex botu bunları dizinleyemez ve talimatlarınızı algılayamaz. Ayrıntılar için Sayfaları aramadan nasıl çıkarılır bölümüne bakın.
Yandex, gelişmiş özelliklerle Robots Exclusion Protocol destekler.
Robots.txt dosyasına yönelik gereksinimler
Yandex robotları robots.txt dosyasını doğru bir şekilde işler, eğer:
-
Dosya boyutu 500 KB’yi geçmez.
-
"robots" adında bir TXT dosyasıdır,
robots.txt. -
Dosya, sitenin kök dizininde bulunur.
-
Dosya robotlar için erişilebilir: siteyi barındıran sunucu, 200 OK durum kodu ile bir HTTP yanıtı verir. Sunucu yanıtını kontrol edin
Dosya gereksinimleri karşılamıyorsa, site dizinlemeye açık kabul edilir.
Yandex, bir sitede bulunan robots.txt dosyasından başka bir sitede bulunan dosyaya yönlendirmeyi destekler. Bu durumda, hedef dosyadaki direktifler dikkate alınır. Bu yönlendirme, siteyi taşırken faydalı olabilir.
Dosyanın içeriği hakkında öneriler
Yandex aşağıdaki direktifleri destekler:
|
Direktif |
Ne yapar |
|
Kuralların |
|
|
Sitenin bölümlerinin veya bireysel sayfalarının taranmasını yasaklar. |
|
|
Sitede yayınlanan |
|
|
Sayfa URL’sinin dizinlenirken göz ardı edilmesi gereken parametreler (örneğin UTM etiketleri) içerdiğini robota belirtir. |
|
|
Site bölümlerinin veya bireysel sayfaların dizinlenmesine izin verir. |
|
|
Arama robotunun bir sayfayı yükledikten sonra başka bir sayfayı yüklemeye başlamadan önce beklemesi gereken minimum süreyi (saniye cinsinden) belirtir. Yandex Webmaster’da tarama hızı ayarını direktif yerine kullanmanızı öneririz. |
* Zorunlu direktif.
En sık Disallow, Site haritası ve Clean-param direktiflerine ihtiyacınız olacaktır. Örneğin:
User-agent: * #indicates which bots the directives are set for
Disallow: /bin/ # prohibits links from the “Shopping Cart”.
Disallow: /search/ # prohibits links from the site’s built-in search
Disallow: /admin/ # prohibits links from the admin panel
Sitemap: http://example.com/sitemap # points the bot to the Sitemap file for the site
Clean-param: ref /some_dir/get_book.pl
Diğer arama motorları ve hizmetlerin robotları, direktifleri farklı şekilde yorumlayabilir.
Not
Robot, alt dizelerin (dosya adı veya yol, robot adı) büyük/küçük harf duyarlılığını dikkate alır ve direktiflerin adlarındaki büyük/küçük harf duyarlılığını göz ardı eder
Kiril karakterlerinin kullanımı
robots.txt dosyasında ve sunucu HTTP başlıklarında Kiril alfabesi kullanımı izin verilmez. Alan adları için Punycode kullanın.
Sayfa adresleri için, mevcut site yapısının kodlamasıyla aynı kodlamayı kullanın.
#Incorrect:
User-agent: Yandex
Disallow: /cart
Sitemap: site.ru/sitemap.xml
#Correct:
User-agent: Yandex
Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0
Sitemap: http://xn--80aswg.xn--p1ai/sitemap.xml
Robots.txt nasıl ayarlanır
- Metin düzenleyicide,
robots.txtadlı bir dosya oluşturun ve içine ihtiyacınız olan direktifleri ekleyin. - Dosyayı Yandex.Webmaster’da kontrol edin. Dosyayı sitenizin kök dizinine yerleştirin.
- Örnek dosya
Robots.txt nasıl ayarlanır
Bu dosya, tüm arama motorları için sitenin tamamının dizinlenmesine izin verir
Sorular ve cevaplar{#qanda} "Sunucu /robots.txt isteğine yönlendirme ile yanıt veriyor" hatası Yandex.Webmaster’daki "Site teşhisi" sayfasında oluşur.
Robotun robots.txt dosyasını dikkate alması için, dosyanın sitenin kök dizininde bulunması ve HTTP 200 kodu ile yanıt vermesi gerekir.
dizinleme robotu, başka sitelerde barındırılan dosyaların kullanımını desteklemez. robots.txt dosyasının bot için erişilebilirliğini kontrol etmek için, sunucu yanıtını kontrol edin. Eğer robots.txt dosyanız başka bir robots.txt dosyasına yönlendiriyorsa (örneğin, bir site taşındığında), Yandex hedef robots.txt dosyasını dikkate alır.
Ayrıca şuraya gidebilirsiniz:
