Bagaimana Cara Membuat File Robots.txt
File Robots Txt adalah sebuah misteri bagi pakar blogger seperti saya.Tetapi kenyataannya tidak ada yang misteri di dunia ini,kecuali anda menjelajahi sepenuhnya.Jika anda khawatir tentang bagaimana cara mudah menulis file robots.txt,jangan terlalu panik ini sangat sederhana sekali seperti anda menulis postingan blog atau umpama mengedite sebuah artikel halaman yang ada. Yang penting anda harus mengetahui tindakan apa yang harus digunakan. Biasanya robot / spider menjelajahi situs untuk beberapa hal,seperti halaman artikel, control panel admin,tag,arsip. Mereka mengindeks apa apa saja yang terlihat untuk di akses bagi mereka. Hal ini sangat penting untuk membatasi mereka dari mengindeks segala sesuatu dari website kita.
Setiap file Robots.txt dari sebuah situs akan berlokasi di www.Domain Name.com/robots.txt, misalnya www.alfiyah.com/robots.txt.Biasanya robots.txt file juga dikenal sebagai Robots.txs Excluison Protocol.Jadi setiap kali robot mengunjungi website anda,ia terlebih dahulu harus mengunjungi halaman / robots.txt,kemudian mengunjungi halaman lain untuk mengindeks.
Sekarang Ikuti 7 Lankah Cara Membuat File / Robots.txt
Sekarang kita akan memeriksa bagaimana agar bisa membatasi spider mesin pencari untuk mejelajahi situs kami untuk hal-hal yang tidak di inginkan.Anda harus mengenal 6 tahap untuk menulis file robots.txt.Dan anda juga harus mengetahui dasar dan advanse minimal untuk satu kali untuk menulis file / robots.txt,karena anda tidak setiap hari untuk menggantinya.Mari kiata lihat perintah yang paling penting tahapan untuk menulis sebuah file yang sukses robots.txt.
Tahap 1;perbedaan * dan / entri.
Jadi sebelum menulis file sukses / robots.txt. Anda harus tahu perintah dasar dan penggunaannya. Hal pertama yang perlu anda ketahui tentang /robots.txt adalah perintah User-agent. Selanjutnya muncul perintah Disallow yang di jelaskan sebagai berikut.
”
User-agent: *
Disallow:
”
User-agent: *
Disallow: /
Tahap 2: Muka perintah dalam file robots.txt.
Sehingga kita menemukan perbedaan antara * dan /,sekarang saatnya untuk belajar lebih banyak tentang perintah sebelumnya dalam file/robots.txt.Dimulai User-agent dan Disallow,kita akan memperoleh beberapa perintah untuk melarang robot yang tidak diinginkan dari mengakses situs kami.
” User-agent: *
Disallow: /cgi-bin/
Dan jika anda ingin membatasi file robot tertentu,kemudian menyebutkan nama robot untuk membatasi dari mengindek situs anda.
”
User-agent: Googlebot-image
Disallow: /
Tahap 3: Perbedaan antara /sesuatu / dan /sesuatu.
Disini kita akan melihat bagaimana membatasi file yang berbeda,folder atau tempat-tempat yang merugikan kesehatan diri sendiri.
”
User-agent:*
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-incluides
Anda harus mencatat hal yang sangat penting tentang "/" penggunaan. Jika Anda ingin menyebutkan sebuah direktori atau folder di situs Anda, maka mereka harus memulai dan mengakhiri dengan "/" di file / robots.txt. Sebagai contoh,
”
User-agent:*
Disallow: /cgi-bin/
”
User-agent:*
Disallow: /cgi-bin
Tahap 4: Bagaimanna untuk membatasi gambar yang tidak di inginkan ?
Jika Anda tidak ingin bot Google untuk mengindeks gambar tertentu, Anda dapat membatasi itu.
”
User-agent:Googlebot-image
Disallow: /image/adsense.jpg
Tahap 5: Bagaimanna untuk membatasi halaman yang tidak di inginkan ?
Hanya mirip dengan perintah di atas, Anda juga dapat membatasi halaman tertentu dalam file / robots.txt.
”
User-agent:*
Disallow: /alfiyah/adsense.html
Disallow: /alfiyah/applications.html
Disallow: /alfiyah/scret.html
Tahap 6: Apa yang dimaksud dengan sempurna file layout/robots.txt?
Anda / file robots.txt harus sesuatu seperti ini.
”
Sitemap: http://cara-alfiyah.blogspot.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /wp-content/plugins/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Tahap 7: Knock off!
Jika Anda tidak jelas atau masih bingung tentang file / robots.txt setelah membaca posting ini, saya akan menyarankan Anda untuk tiruan file / robots.txt dari teman atau website pesaing. Hehe! Itulah apa yang dapat Anda lakukan ketika Anda tidak jelas tentang hal-hal instan
