Robots.txt Yapımı Nasıl Hazırlanır ?
Sitenin kök ana dizininde bulunan ve arama motorlarının sitemizi ziyaret ettiğinde ilk baktığı ve bu dosya üzerinden index sağladığı dosyaya robots.txt dosyası denir. Robots.txt dosyası belli bir düzende olmalıdır ve içerisinde arama motorlarının anlayacağı kodlardan oluşmalıdır. Bu yazacağımız kodlar arama motorlarının sitemizde hangi klasörleri hangi sayfaları indexleyip indexlemeyeceğini belirteceğimiz kodlardır. Biraz bu kodlardan bahsederek birlikte robots.txt dosyamızı hazırlayalım.
Yeni bir metin belgesi açalım ve ismini arama motorlarının istediği isimle yani Robots.txt olarak kaydedelim. Şayet ismi farklı olarak kaydederseniz botlar Robots.txt dosyanızı görmeyecektir. Aşağıdaki değişkenlerimiz ve anlamları şöyledir.
User-agent: * (yıldız işaretinin yerine normalde izin verdiğimiz Google botunun adı gelmelidir. Şayet * işareti koyarsak tüm Google botları sitemizi indexleyebilir demiş oluruz). Bu komut kısaca arama motoru botlarını belirlemektedir.
Disallow: /dosyaadı/ Bu komut ile “dosyaadı” klasörü Google botları tarafından indexlenmeyecektir. İndexlenmesini istemediğiniz klasörleri bu şekilde engelleyebilirsiniz. Örnek vermek gerekirse yönetim paneli yaptığımız sitelerde www.alanadi.com/yonetim gibi erişim sağlıyorsak yonetim klasörümüzün botlar tarafından indexlenmesini bu komut ile engelleyebiliriz. Şayet sitenin hiçbir sayfa ya da klasörünün indexlenmesini istemiyorsak aşağıdaki komutu yazabiliriz.
Disallow: /
Herhangi bir sayfayı engellemek için aşağıdaki komutu yazabiliriz.
Disallow: /dosyaadi.html
Herhangi bir resimi engellemek için aşağıdaki komutu yazabiliriz.
User-agent : Googlebot-Image (Google arama motorunun resimler üzerine olan botunu belirttik)
Disallow: /resim/resimadi.jpg
Sitedeki tüm görselleri engellemek için aşağıdaki komutu yazabiliriz.
User-agent : Googlebot-Image
Disallow: /
Belirli bir dosya türü engellemek için aşağıdaki komutu yazabiliriz.
Disallow: /*.html$
İhtiyacımıza göre hazırlamış olduğumuz robots.txt dosyamızı kaydedip ftp üzerinden server da ana dizinimize atıyoruz. Daha sonra http://www.alanadi.com/robots.txt yazarak hazırlamış olduğumuz robots.txt dosyamıza erişim sağlayabiliyorsak dosyamız hazır demektir. Artık arama motorlarının sitemize geldiğinde kılavuz bir klasörü vardır. Böylece bizim istediğimiz sayfa ya da klasörler arama motorları tarafından indexlenecek ve arama yapıldığında kişilere sunulacaktır.