Site veya sunucu üzerindeki yükü nasıl azaltırım?

Dizinleme robotu, site sayfalarını kendi başına planlar, site veya sunucu üzerindeki yükü otomatik olarak ayarlayarak, taranması gereken yeni veya zaten dizinlenmiş sayfaların sayısına bağlı olarak ayarlar.

Bazen robot isteklerinin sayısı aniden artabilir, örneğin robot yeni bir site bölümü, site yapısındaki değişiklikler veya yeni sayfa URL’leri hakkında bilgi edindiğinde.

Sitedeki robot isteklerinin artış nedenini öğrenmek için:

1. Robot tarafından yüklenen sayfaların ve aramaya katılan sayfaların sayısını kontrol edin. Bunu yapmak için Yandex Webmaster’daki Sitelerim sayfasına gidin. Yüklenen sayfaların sayısı, aramadaki sayfa sayısından çok daha fazlaysa, robot muhtemelen sitede çok sayıda benzer sayfa veya dizinlenmemesi gereken yinelenmiş sayfalar bulmaktadır.

2. Dizinleme → Tarama istatistikleri sayfasına gidin ve dizinleme botunun son zamanlarda hangi sayfalara eriştiğini görün. Bu bilgiyi sunucu günlüklerinde de bulabilirsiniz.

   GET parametrelerine sahip sayfalara dikkat edin. Muhtemelen, aynı içeriği içerirler. Örneğin, sitede klasörlere göre filtreler varsa, sayfalar ?price=1,000&max_price=1,000,000 gibi bir parametre içerebilir. Ya da sitede bir arama işlevi varsa: ?search=<arama ifadesi>.

   Robot, farklı URL’lere sahip ancak aynı içeriğe sahip sayfaları tarasa da, bunlar arama sonuçlarına katılamaz.

3. Clean-param direktifini robots.txt dosyasına ekleyin. Bu şekilde, robotu kopyalar arasında gerekli URL’ye yönlendirebilir ve yük yavaş yavaş azalır. Bu direktif ayrıca belirli birikmiş ölçümleri ana URL veya web sitesine aktarmanıza olanak tanır.

   Robot üzerindeki yükü hızlı bir şekilde azaltmak için Disallow direktifini robots.txt dosyasına ekleyin. Robot, dosyada yapılan değişikliklerden 24 saat sonra belirtilen sayfalara erişmeyi durduracaktır.

Yükün ekstra sayfalarla ilgili olmadığını düşünüyorsanız, sunucuyu 429 HTTP durum kodu ile yanıt verecek şekilde yapılandırabilirsiniz. Bu yanıt, sunucunun yükle ilgili zorluklar yaşadığını gösterecektir. Yandex robotu istek sayısını azaltacaktır. Ya da sitede gezinme hızın kendiniz değiştirebilirsiniz.

Daha fazla bilgi edinin

• Site üzerindeki yükü alt etki alanlarıyla nasıl azaltırım