Bir robotun Yandex’e ait olduğunu nasıl kontrol ederim
Bazı robotlar, ilgili Kullanıcı Temsilcisini belirterek Yandex robotları gibi davranabilir. Bir robotun gerçekliğini ters DNS sorgusu kullanarak kontrol edebilirsiniz.
Sadece şu adımları izleyin:
- Sunucu günlüklerinizi kullanarak ilgili kullanıcı temsilcisinin IP adresini belirleyin.
- IP adresinin ters DNS sorgusunu kullanarak ana bilgisayar etki alanı adı belirleyin.
- Ana bilgisayarın Yandex’e ait olup olmadığını kontrol edin. Tüm Yandex robotlarının adları
yandex.ru,yandex.netveyayandex.comile biter. Ana bilgisayar adı farklı bir sonla bitiyorsa, robot Yandex’e ait değildir. - Adın doğru olduğundan emin olun. Ana bilgisayar adına karşılık gelen IP adresini almak için ileri DNS sorgusu kullanın. Bu, ters DNS sorgusunda kullanılan IP adresiyle eşleşmelidir. IP adresleri eşleşmiyorsa, ana bilgisayar adı sahtedir.
Yandex robotları sunucu günlüklerinde
Bir dizi Yandex robotu, dizinleme dışında başka amaçlar için web belgeleri indirir. Site sahipleri tarafından istemeden engellenmemek için, dosyanın keyfi robotlar için tasarlanmış kısıtlayıcı direktiflerini robots.txt (User-agent: *) göz ardı edebilirler.
Ayrıca, Yandex ile bu sitelerin sahipleri arasında bir anlaşma varsa, robotlar bazı siteler için robots.txt kısıtlamalarını göz ardı edebilir.
Not
Böyle bir robot, ana Yandex robotunun erişemediği bir belge indirirse, bu belge asla dizinlenmez ve arama sonuçlarında bulunmaz.
Bu tür robotların siteye erişimini kısıtlamak için, örneğin, onlara özel direktifler kullanın:
User-agent: YandexCalendar
Disallow: /
Kullanıcı Aracısı: YandexMobileBot
İzin Verilmez: /private/*.txt$
Botlar, sıklıkla değişen IP adresleri ve AS13238 ile AS208722 gibi çevrimdışı bir ağ kullanır. Dolayısıyla, listeleri açıklanmaz.
Robot sayfaya eriştiğinde, sunucu günlüklerinizde Kullanıcı Aracısı ve siteyi taramak için kullanılan tarayıcı sürümü görünebilir. Örneğin, Mozilla/5.0 (uyumlu; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, Gecko gibi) Chrome/81.0.4044.268.
Not
Tarayıcı sürümü değişebilir, bu yüzden sunucu günlüklerinde Kullanıcı Aracısı ararken sürümü belirtmemek önerilir.
|
Robotun tam adı, Kullanıcı Aracısı dahil |
Robotun amacı |
Robots.txt |
|
Mozilla/5.0 (uyumlu; YandexAccessibilityBot/3.0; +http://yandex.com/bots) |
YandexAccessibilityBot, kullanıcılar için erişilebilirliklerini kontrol etmek amacıyla sayfaları indirir. Siteye saniyede 3 istek gönderir. Robot, Yandex.Webmaster ayarını yok sayar. |
No |
|
Mozilla/5.0 (uyumlu; YandexAdNet/1.0; +http://yandex.com/bots) |
Yandex reklam ağı robotu. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexBlogs/0.99; robot; +http://yandex.com/bots) |
Yorumları dizinleyen blog arama botu. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexBot/3.0; +http://yandex.com/bots) |
Ana dizinleme robotu. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) |
Sitenin ikincil aynalarını belirler. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexCalendar/1.0; +http://yandex.com/bots) |
Yandex.Calendar robotu. Kullanıcı istekleriyle takvim dosyalarını indirir. Bu dosyalar genellikle dizinlemeye yasak dizinlerde bulunur. |
No |
|
Mozilla/5.0 (uyumlu; YandexDirect/3.0; +http://yandex.com/bots) |
Yandex Reklam ağı ortak sitelerinin içeriği hakkında bilgi indirir, konularını belirleyerek ilgili reklamları eşleştirir. |
No |
|
Mozilla/5.0 (uyumlu; YandexDirectDyn/1.0; +http://yandex.com/bots) |
Dinamik afişler oluşturur. |
No |
|
Mozilla/5.0 (uyumlu; YandexFavicons/1.0; +http://yandex.com/bots) |
Arama sonuçlarında görüntülemek için sitenin favicon dosyasını indirir. |
No |
|
Mozilla/5.0 (uyumlu; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots) |
Reklamların hedef sayfalarını indirir, erişilebilirliklerini ve konularını kontrol eder. Bu, arama sonuçlarında ve ortak sitelerde reklam yerleştirmek için gereklidir. |
Hayır. Robot, robots.txt dosyasını kullanmaz ve onun için belirlenmiş direktifleri yok sayar. |
|
Mozilla/5.0 (uyumlu; YandexImages/3.0; +http://yandex.com/bots) |
Yandex Görseller’de görüntülemek için resimleri dizinler. |
Evet |
|
Mozilla/5.0 (uyumlu; YandexImageResizer/2.0; +http://yandex.com/bots) |
Mobil cihazlar robotu. |
Evet |
|
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1, Mac OS X benzeri) AppleWebKit/600.1.4 (KHTML, Gecko benzeri) Sürüm/8.0 Mobile/12B411 Safari/600.1.4 (uyumluluk; YandexMobileBot/3.0; +http://yandex.com/bots) |
Mobil cihazlar için uygun düzeni olan sayfaları tanımlar. |
No |
|
Mozilla/5.0 (uyumluluk; YandexMarket/1.0; +http://yandex.com/bots) |
Yandex.Market robotu. |
Evet |
|
Mozilla/5.0 (uyumluluk; YandexMarket/2.0; +http://yandex.com/bots) |
No |
|
|
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) |
Multimedya verilerini dizinler. |
Evet |
|
Mozilla/5.0 (uyumluluk; YandexMetrika/2.0; +http://yandex.com/bots yabs01) |
Yandex Direct reklamlarının açılış sayfaları dahil olmak üzere site sayfalarının erişilebilirliğini kontrol etmek için indirir. |
Hayır. Robot, robots.txt dosyasını kullanmaz ve onun için belirlenmiş direktifleri yok sayar. |
|
Mozilla/5.0 (uyumluluk; YandexMetrika/2.0; +http://yandex.com/bots) |
Yandex Metrica botu. |
No |
|
Mozilla/5.0 (uyumluluk; YandexMetrika/3.0; +http://yandex.com/bots) |
No |
|
|
Mozilla/5.0 (uyumluluk; YandexMetrika/4.0; +http://yandex.com/bots) |
Yandex Metrica botu. Site sayfalarını Webvisor içinde işlemek için CSS stillerini indirir ve önbelleğe alır. |
Hayır. Robot, robots.txt dosyasını kullanmaz ve onun için belirlenmiş direktifleri yok sayar. |
|
Mozilla/5.0 (compatible; YandexMobileScreenShotBot/1.0; +http://yandex.com/bots) |
Mobil sayfanın ekran görüntüsünü alır. |
No |
|
Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots) |
Yandex News robotu. |
Evet |
|
Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots) |
Nesne yanıt robotu. |
Evet |
|
Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots) |
Nesne yanıt robotu, dinamik verileri indirir. |
No |
|
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) |
Sayfaya, Yapılandırılmış veri doğrulayıcı formu aracılığıyla mikro verileri doğrularken erişir. |
Evet |
|
Mozilla/5.0 (compatible; YandexPartner/3.0; +http://yandex.com/bots) |
Yandex ortak sitelerinin içeriği hakkında bilgi indirir. |
No |
|
Mozilla/5.0 (compatible; YandexRCA/1.0; +http://yandex.com/bots) |
Önizlemeler oluşturmak için veri toplar. |
No |
|
Mozilla/5.0 (compatible; YandexRenderResourcesBot/1.0; +http://yandex.com/bots) |
JavaScript ile sayfa işlemek için kaynakları yükler. Bu kaynakların bulunduğu HTML sayfası Yandex botuna erişilebilir ise robots.txt içindeki talimatları görmezden gelir. Bot, bu kaynakların kullanıldığı HTML sayfaları |
No |
|
Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots) |
Kullanıcıların talepleri doğrultusunda YML dosyalarında ürün kataloglarını indirir. Bu dosyalar genellikle dizinlemeye yasak dizinlerde bulunur. |
No |
|
Mozilla/5.0 (uyumluluk; Yandex Site bağlantıları; Dyatel; +http://yandex.com/bots) |
Site bağlantıları olarak kullanılan sayfaların erişilebilirliğini kontrol eder. |
Evet |
|
Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots) |
Yandex İşletme botu. |
Evet |
|
Mozilla/5.0 (compatible; YandexTracker/1.0; +http://yandex.com/bots) |
Yandex Takip botu. |
No |
|
Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots) |
RSS akışını tarar ve Turbo sayfaları oluşturmak için kullanır. Siteye saniyede 3 istek gönderir. Robot, Yandex.Webmaster ayarlarını ve Crawl-delay direktifini görmezden gelir. |
Evet |
|
Mozilla/5.0 (compatible; YandexUserproxy; robot; +http://yandex.com/bots) |
Yandex hizmetlerindeki kullanıcı işlemleri için ara sunucu kullanır: düğme tıklamalarına yanıt olarak istekler gönderir, çevrimiçi çeviri için sayfaları indirir, vb. |
No |
|
Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) |
Dikey arama robotu. |
Evet |
|
Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots) |
Yandex Dikeyler botu: Auto.ru, Yandex Emlak, Yandex İş İlanları, Yandex Yorumlar. |
Evet |
|
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) |
Yandex video araması için videoları dizinler. |
Evet |
|
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots) |
Yandex video araması için videoları dizinler. |
No |
|
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) |
Yandex Webmaster botu. |
Evet |
|
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z* Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots) |
Sayfanın ekran görüntüsünü alır. |
No |
* W.X.Y.Z karakter kombinasyonu, Chrome tarayıcısının kullanıcı aracısının sürümü için bir yer tutucudur. Örneğin: 41.0.2272.96.
Sorular ve cevaplar
Sahte Yandex robotları gibi davranan sahte robotlardan nasıl korunabilirim?
Sahte robotlara karşı korunmak için yukarıda açıklandığı gibi ters DNS arama filtresini kullanın. Bu yöntem, Yandex iç ağlarındaki değişikliklere daha dayanıklı olduğu için IP adresleriyle erişimi yönetmekten daha tercih edilir.
Web sunucum ile robotunuz arasında çok fazla trafik gidip geliyor. Yandex sıkıştırılmış sayfaların indirilmesini destekliyor mu?
Evet, destekliyor. Yandex robotu her sayfa talep ettiğinde şunu söyler: “Accept-Encoding: gzip,deflate”. Bu, web sunucunuzu kurarak sunucu ile robotumuz arasındaki trafiği azaltabileceğiniz anlamına gelir. Ancak, sıkıştırılmış içerik göndermenin sunucunuzda CPU kullanımını artırdığını unutmayın. Eğer aşırı yüklenirse, sorunlara neden olabilir. Gzip ve deflate indirmeleri için, robot rfc2616 standardını, bölüm 3.5 uygular.
Destek birimiyle iletişime geçin
Ayrıca şuraya gidebilirsiniz:
