User-agent direktifi

robots.txt dosyasında, bot User-agent: ile başlayan girişleri kontrol eder ve Yandex alt dizelerini (büyük/küçük harf fark etmez) veya * arar. Eğer User-agent: Yandex dizesi tespit edilirse, User-agent: * dizesi göz ardı edilir. Eğer User-agent: Yandex ve User-agent: * dizeleri bulunmazsa, robotun sınırsız erişime sahip olduğu kabul edilir.

Yandex robotları için ayrı direktifler girebilirsiniz: Robotların bunları nasıl dikkate aldığı hakkında daha fazla bilgi edinmek için Sunucu günlüklerinde Yandex robotları bölümüne bakın.

Belirli bir robot için direktifler varsa, User-agent: Yahoo ve User-agent: * direktifleri kullanılmaz.

Örnek:

User-agent: YandexBot # will be used only by the main indexing bot
Disallow: /*id=

User-agent: Yandex # will be used by all Yandex bots
Disallow: /*sid= # except the main indexing bot

User-agent: * # will not be used by Yandex bots
Disallow: /cgi-bin 

Ayrıntılar için # sembolünün işlenmesi bölümüne bakın.