Robots Dosyaları Oluşturma
robots.txt dosyası nedir?
Arama motorları, bir tür örümcek programı (spider olarak da bilinir) aracılığıyla, İnternet'teki web sayfalarına otomatik olarak erişip web sayfalarının bilgilerini alır. Web sitenizde bir robots.txt dosyası oluşturabilir, örümceklerin ziyaret edilmesini istemediği bölümleri belirleyebilir, böylece web sitenin içeriğinin bir kısmının veya tamamının arama motorlarının erişimi ve dahil edilmesini engelleyebilir veya robots.txt dosyası aracılığıyla arama motorlarının yalnızca belirtilen içeriği dahil etmesini belirleyebilirsiniz. Arama motorlarının web sitelerini taradığı ilk dosya robots.txt'dir.
Robots.txt dosyasını daha detaylı bir şekilde anlatır mısınız?
Dosya Konumu
robots.txt dosyası web sitesi kök dizinin altında yerleştirilmelidir.Örneğin, bir arama motoru bir web sitesine girdiğinde, öncelikle robots.txt dosyasının web sitesinde olup olmadığını kontrol eder ve eğer robotlar bu dosyayı bulursa, dosyanın içeriğine göre erişim hakkının kapsamını belirler. WordPress robots dosyası konumunda WordPress site kök programında robots.txt yüklenmemiş, arama motorları ve kullanıcılar bir dosyayı ziyaret ettiğinde, WordPress programı aktif olarak arama motorları ve kullanıcılar için bir robots.txt üretecektir; Eğer robots.txt yazılmış site kök programına yüklersek, kullanıcılar ve arama motorları örümcek ziyaret ettiğimiz dosya yüklenir, WordPress bu dosyayı üretmez. WordPress bu dosyayı yalnızca sunucu robotları bulamıyorsa oluşturur.
Dosya Formatı
"robots.txt" dosyası, boş satırlarla (CR, CR/NL veya NL ile sonlandırılmış) ayrılmış bir veya daha fazla kayıt içerir ve her kayıt aşağıdaki biçimlerde bulunur: "<field>:<optionalspace><value><optionalspace>" dosyada UNIX'te olduğu gibi # kullanılarak yorumlanabilir. Bu dosyadaki kayıtlar genellikle bir veya daha fazla User-agent satırı ile başlar, ardından aşağıdaki ayrıntılarla birkaç Disallow satırı eklenir: User-agent: Bu öğenin değeri, arama motoru robotunun adını tanımlar. "robots.txt" dosyasında birden fazla User-agent kaydı varsa, bu protokolün kapsamında birden fazla robot olduğu anlamına gelir. Bu nedenle, "robots.txt" dosyasında en az bir kullanıcı ajanı kaydı olmalıdır. Bu terimin değeri * (Wildcard) olarak ayarlanırsa, protokol herhangi bir arama motoru botları için geçerlidir. "robots.txt" dosyasında, "User-agent:*" gibi yalnızca bir kayıt olabilir. Disallow: Bu değeri, erişilmek istemediği bir URL'yi tanımlar, bu URL'nin tam ya da kısmi bir yol olabilir ve Disallow ile başlayan herhangi bir URL'nin robot tarafından erişilmemesi gerekir.Örneğin, "Disallow: /help" /help.html ve /help/index.html için arama motorlarına erişim izni vermezken, "Disallow: /help/" robotlara /help.html erişimine izin verir, /help/index.html erişimine izin vermez. Herhangi bir Disallow kaydı boşsa, web sitesinin tüm bölümlerine erişilebilir olduğunu gösterir ve "/robots.txt" dosyasında en az bir Disallow kaydı olmalıdır. Eğer "/robots.txt" boş bir yazı ise, web sitesi tüm arama motoru robotları için açıktır.
Genel kalkan
Gizlilik sayfasını, arka plan açılış sayfasını, önbelleğe alma sayfasını, resim dizinini, css dizinini, şablon sayfasını, çift sayfa içeriğini engelle, aynı zamanda bazı düşük kaliteli sayfaları engelleyebilir, örneğin tüm üye kullanıcı alanı sayfaları, dz dinamik bağlantıları da engelleyebilir. Disallow: komutunu kullanarak ayarlayın.