Robots.txt Dosyası Nasıl Ayarlanır? Adım Adım Webmaster Rehberi

Bu Konu Hakkında Bilmeniz Gerekenler

Robots.txt, arama motoru botlarının web sitenizde hangi sayfaları tarayıp hangilerini tarayamayacağını belirten kritik bir metin dosyasdır. Doğru yapılandırıldığında SEO performansınızı doğrudan iyileştirir ve sunucu yükünüzü azaltır.

Robots.txt dosyası, kök dizininizde (ana dizin) yer alması gereken basit bir text dosyasıdır. Arama motoru örümcekleri sitenize ilk geldiğinde bu dosyayı okur ve izin verilen alanları dizine eklemeye başlar. Yanlış yapılan bir engelleme, tüm sitenizin arama sonuçlarından kaybolmasına neden olabilir; bu nedenle kuralların dikkatle yazılması gerekir.

Dosya içerisinde en sık kullanılan komutlar ‘User-agent’ (botun adı) ve ‘Disallow’ (engellenen dizin) komutlarıdır. Tüm botlara izin vermek için yıldız (*) karakteri kullanılırken, belirli bir klasörü gizlemek için o klasörün yolu Disallow komutunun yanına eklenir.

• ✓ Doğru Konumlandırma: Robots.txt dosyasını her zaman sitenizin ana dizinine (ornegin.com/robots.txt) yerleştirin.
• ✓ Hassas Sayfaları Gizleme: Admin paneli, sepet ve ödeme sayfaları gibi kullanıcıya kapalı alanları arama motoru botlarından gizleyin.
• ✓ Sitemap Ekleme: Dosyanın en altına XML site haritanızın bağlantısını ekleyerek botların içerikleri daha hızlı keşfetmesini sağlayın.
• ✓ Test Etme: Değişiklikleri kaydettikten sonra Google Search Console üzerinden robots.txt test aracını kullanarak hataları kontrol edin.