Clean-param direktifi
Not
Bazen Disallow direktifi bu sayfaları kapatmak için kullanılır. Clean-param direktifini kullanmanızı öneririz, çünkü bu direktif bazı toplu ölçümleri ana URL veya web sitesine aktarmanıza olanak tanır.
Clean-param direktifi nasıl kullanılır
Clean-param direktifini mümkün olduğunca eksiksiz şekilde tanımlayın ve güncel tutun. Sayfa içeriğini etkilemeyen yeni bir parametre, aramada yer almaması gereken yinelenen sayfalara neden olabilir. Bu tür sayfaların çokluğu nedeniyle, robot siteyi daha yavaş tarar. Dolayısıyla, önemli değişikliklerin arama sonuçlarında görünmesi daha uzun sürecektir.
Yandex robotu, yinelenen bilgileri yeniden yüklemekten kaçınmak için bu direktifi kullanır. Bu, robotun verimliliğini artırır ve sunucu yükünü azaltır.
Örneğin, siteniz aşağıdaki sayfaları içerir:
www.example.com/some_dir/get_book.pl?ref=site_1&book_id=123
www.example.com/some_dir/get_book.pl?ref=site_2&book_id=123
www.example.com/some_dir/get_book.pl?ref=site_3&book_id=123
ref parametresi yalnızca isteğin hangi kaynaktan gönderildiğini izlemek için kullanılır. Sayfa içeriğini değiştirmez. Üç URL de book_id=123 kitabıyla aynı sayfayı gösterecektir.
User-agent: Yandex
Clean-param: ref /some_dir/get_book.pl
Ardından, direktifi şu şekilde belirtirseniz:
www.example.com/some_dir/get_book.pl?book_id=123
Yandex robotu tüm sayfa adreslerini tek bir adrese birleştirecektir:
User-agent: Yandex
Clean-param: utm
Öneri
Clean-Param direktifi kesişimseldir, dolayısıyla dosya içinde herhangi bir yerde belirtilebilir. Yandex botu için özel olarak başka direktifler tanımlarsanız, buna dair tasarlanmış tüm kuralları tek bir bölümde listeleyin. Bu durumda, User-agent: * dizesi göz ardı edilecektir.
Yönerge sözdizimi
Clean-param: p0[&p1&p2&..&pn] [path]
İlk alanda, robot tarafından göz ardı edilmesi gereken parametreleri & karakteriyle ayırarak listeleyin. İkinci alanda, kuralın uygulanacağı sayfalar için yol önekini belirtin.
Önek, robots.txt dosyasında kullanılan biçime benzer bir düzenli ifade içerebilir, ancak bazı kısıtlamalarla: yalnızca A-Za-z0-9 karakterlerini kullanabilirsiniz. Ancak, * karakteri robots.txt dosyasındakiyle aynı şekilde ele alınır: * karakteri her zaman önekin sonuna örtük olarak eklenir. Örneğin:
Clean-param: s /forum/showthread.php
s parametresinin /forum/showthread.php ile başlayan tüm URL'ler için göz ardı edildiği anlamına gelir. İkinci alan isteğe bağlıdır ve bu durumda kural sitedeki tüm sayfalara uygulanacaktır.
Büyük/küçük harfe duyarlıdır. Kuralın maksimum uzunluğu 500 karakterdir. Örneğin:
Clean-param: abc /forum/showthread.php
Clean-param: sid&sort /forum/*.php
Clean-param: someTrash&otherTrash
Ek örnekler
#for addresses like:
www.example1.com/forum/showthread.php?s=681498b9648949605&t=8243
www.example1.com/forum/showthread.php?s=1e71c4427317a117a&t=8243
#robots.txt will contain:
User-agent: Yandex
Clean-param: s /forum/showthread.php
#for addresses like:
www.example2.com/index.php?page=1&sid=2564126ebdec301c607e5df
www.example2.com/index.php?page=1&sid=974017dcd170d6c4a5d76ae
#robots.txt will contain:
User-agent: Yandex
Clean-param: sid /index.php
#if there are several such parameters:
www.example1.com/forum_old/showthread.php?s=681498605&t=8243&ref=1311
www.example1.com/forum_new/showthread.php?s=1e71c417a&t=8243&ref=9896
#robots.txt will contain:
User-agent: Yandex
Clean-param: s&ref /forum*/showthread.php
#if the parameter is used in several scripts:
www.example1.com/forum/showthread.php?s=681498b9648949605&t=8243
www.example1.com/forum/index.php?s=1e71c4427317a117a&t=8243
#robots.txt will contain:
User-agent: Yandex
Clean-param: s /forum/index.php
Clean-param: s /forum/showthread.php
Disallow ve Clean-param
Clean-param yönergesi, Disallow yönergesiyle zorunlu birleşim gerektirmez.
User-agent: Yandex
Disallow:
Clean-param: s&ref /forum*/showthread.php
#is identical to:
User-agent: Yandex
Clean-param: s&ref /forum*/showthread.php
Clean-param yönergesi kesişimsel olduğundan, Disallow ve Allow yönergelerinin konumundan bağımsız olarak dosyanın herhangi bir yerinde belirtilebilir. Disallow'un yürütülmesi önceliklidir ve sayfa adresi Disallow'da dizinleme için izin verilmezse ve aynı anda Clean-param'da kısıtlanırsa, sayfa dizine eklenmez.
User-agent: Yandex
Disallow:/forum
Clean-param: s&ref /forum*/showthread.php
Bu durumda, https://example.com/forum?ref=page sayfası izin verilmeyen olarak değerlendirilecektir. Aramadan yalnızca GET parametrelerine sahip bağlantı varyantlarını kaldırmak istiyorsanız sayfalar için Disallow yönergesini belirtmeyin.
Ayrıca şuraya gidebilirsiniz:
