Robots.txt analizi

Robots.txt analizi aracı, robots.txt dosyasının doğru olup olmadığını kontrol etmenize veya dosya metnini girip doğrulamanıza ve robots.txt dosyasına kopyalamanıza yardımcı olur.

Bu araç ayrıca dosyadaki değişiklikleri izlemenize ve belirli bir sürümünü indirmenize de yardımcı olur.

Dosyayı nasıl kontrol edeceğiniz

Site Yandex.Webmaster’a eklendiyse ve site yönetim hakları doğrulandıysa

Dosya içeriği, web sitesi yönetim hakları doğrulanır doğrulanmaz Araçlar → Robots.txt analizi sayfasında görünecektir.

İçerik Robots.txt analizi sayfasında gösteriliyorsa, Kontrol Et tıklayın.

Site Yandex Webmaster’a eklenmediyse

1. Robots.txt analizi sayfasına gidin.
2. Kontrol edilecek site alanına, web sitenizin adresini girin. Örneğin, https://example.com.
3. simgesine tıklayın. robots.txt içeriği ve analiz sonuçları aşağıda gösterilecektir.

Yandex robotu için ayrılmış bölümlerde (User-agent: Yandex veya User-agent: *), doğrulayıcı direktifleri robots.txt kullanım şartlarına göre kontrol eder. Diğer bölümler standart ile karşılaştırılır.

Kontrolden sonra görebilirsiniz:

• Uyarılar. Kurallardan sapmayı rapor ederler ve araç tarafından düzeltilebilir. Uyarılar, yazım hataları veya direktiflerdeki yanlışlıklarla ilgili potansiyel bir sorunu da gösterir.
• Dosyadaki hatalar. Bu, aracın bir dizeyi, bölümü veya tüm dosyayı direktiflerdeki ciddi söz dizimi hataları nedeniyle işleyemediği anlamına gelir.

Daha fazla bilgi için Robots.txt ayrıştırma hataları bölümüne bakın.

Robotun belirli bir URL’yi tarayıp taramayacağını nasıl öğrenebilirim

robots.txt dosyanız Yandex.Webmaster’a yüklendiğinde, Robots.txt analizi sayfası URL’lerin izinli olup olmadığını kontrol et bloğunu gösterir.

1. URL listesi alanına kontrol etmek istediğiniz sayfanın adresini girin. URL’yi tamamen veya web sitesi kök dizinine göre göreceli olarak belirtebilirsiniz. Örneğin, https://example.com/page/ veya /page/.
2. Kontrol Et düğmesine tıklayın.

URL, Yandex botları tarafından dizinlemeye izin veriyorsa, yanında simgesi görünecektir. Aksi takdirde, adres kırmızı renkte vurgulanacaktır.

Dosya değişikliklerini nasıl takip edebilirim

robots.txt dosyasındaki değişiklikleri zamanında öğrenmek için lütfen bildirimleri yapılandırın.

Yandex Webmaster dosyayı düzenli olarak güncellemeler için kontrol eder ve değişiklik tarihi ve saati ile birlikte sürümleri kaydeder. Bunları görüntülemek için Araçlar → Robots.txt analizi sayfasına gidin.

Aşağıdaki tüm koşullar sağlandığında sürüm listesi gösterilir:

• Web sitesini Yandex Webmaster’a eklediniz ve web sitesini yönetme hakkınızı doğruladınız.
• Yandex.Webmaster, robots.txt dosyasındaki değişikliklerle ilgili bilgileri saklar.

Şunları yapabilirsiniz:

Dosyanın mevcut ve önceki sürümlerini görüntüleyin

Robots.txt sürüm listesinde dosya sürümünü seçin. Aşağıdaki alan, robots.txt dosyasını ve ayrıştırma sonuçlarını gösterir.

Seçilen dosya sürümünü indirin

1. Robots.txt sürüm listesinde dosya sürümünü seçin.
2. İndir düğmesine tıklayın. Dosya cihazınıza TXT biçiminde kaydedilecektir.

Sorular ve cevaplar