Arama motoru botları için robots.txt dosyası oluşturun ve site tarama kurallarını belirleyin
Botların erişmesini istemediğiniz dizinler
Özellikle izin vermek istediğiniz dizinler