Site haritası direktifi
Sitenizin yapısını tanımlamak için bir Site haritası dosyası kullanıyorsanız, dosyanın yolunu Site haritası
direktifinin bir parametresi olarak belirtin (birden fazla dosyanız varsa, tüm yolları belirtin). Örnek:
User-agent: Yandex
Allow: /
site haritası: https://example.com/site_structure/my_sitemaps1.xml
site haritası: https://example.com/site_structure/my_sitemaps2.xml
Direktif kesitseldir, yani robots.txt
dosyasındaki konumuna bakılmaksızın robot tarafından kullanılır.
Robot dosyanızın yolunu hatırlar, verilerinizi işler ve bir sonraki site ziyaretinde sonuçları kullanır.