Cara Membuat File Robots.txt Mudah - ALfiyah Info Blogger 
Bagaimana Cara Membuat File Robots.txt
File Robots Txt adalah sebuah misteri bagi pakar blogger seperti saya.Tetapi kenyataannya tidak ada yang misteri di dunia ini,kecuali anda menjelajahi sepenuhnya.Jika anda khawatir tentang bagaimana cara mudah menulis file robots.txt,jangan terlalu panik ini sangat sederhana sekali seperti anda menulis postingan blog atau umpama mengedite sebuah artikel halaman yang ada. Yang penting anda harus mengetahui tindakan apa yang harus digunakan. Biasanya robot / spider menjelajahi situs untuk beberapa hal,seperti halaman artikel, control panel admin,tag,arsip. Mereka mengindeks apa apa saja yang terlihat untuk di akses bagi mereka. Hal ini sangat penting untuk membatasi mereka dari mengindeks segala sesuatu dari website kita.
Setiap file Robots.txt dari sebuah situs akan berlokasi di www.Domain Name.com/robots.txt, misalnya www.alfiyah.com/robots.txt.Biasanya robots.txt file juga dikenal sebagai Robots.txs Excluison Protocol.Jadi setiap kali robot mengunjungi website anda,ia terlebih dahulu harus mengunjungi halaman / robots.txt,kemudian mengunjungi halaman lain untuk mengindeks.
Sekarang Ikuti 7 Lankah Cara Membuat File / Robots.txt
Sekarang kita akan memeriksa bagaimana agar bisa membatasi spider mesin pencari untuk mejelajahi situs kami untuk hal-hal yang tidak di inginkan.Anda harus mengenal 6 tahap untuk menulis file robots.txt.Dan anda juga harus mengetahui dasar dan advanse minimal untuk satu kali untuk menulis file / robots.txt,karena anda tidak setiap hari untuk menggantinya.Mari kiata lihat perintah yang paling penting tahapan untuk menulis sebuah file yang sukses robots.txt.
Tahap 1;perbedaan * dan / entri.
Jadi sebelum menulis file sukses / robots.txt. Anda harus tahu perintah dasar dan penggunaannya. Hal pertama yang perlu anda ketahui tentang /robots.txt adalah perintah User-agent. Selanjutnya muncul perintah Disallow yang di jelaskan sebagai berikut.
”
User-agent: *
Disallow:
Disini,User-agent: * berarti bahwa bagian tersebut diterapkan pada semua robots.* Disebut Wildcard yang biasanya berarti semua.Datang keperintah Disallow,ini memberitahu robot bahwa mereka tidak dapat indeks dimana saja mereka inginkan. Jadi * ini berarti ,robots harus membaca semua materi sebelum melanjutkan .
”
User-agent: *
Disallow: /
Disallow: / ini berarti robot tidak diperbolehkan untuk menjelajahi apa-apa,jadi sekarang anda punya perbedaan ? Jika * maka indeks semua,jika / jangan indeks apa-apa.
Tahap 2: Muka perintah dalam file robots.txt.
Sehingga kita menemukan perbedaan antara * dan /,sekarang saatnya untuk belajar lebih banyak tentang perintah sebelumnya dalam file/robots.txt.Dimulai User-agent dan Disallow,kita akan memperoleh beberapa perintah untuk melarang robot yang tidak diinginkan dari mengakses situs kami.
” User-agent: *
Disallow: /cgi-bin/
Perintah diatas ini berarti bahwa,semua robot berkas tidak diizinkan untuk indeks apapun di folder cgi-bin memiliki subfolder dan halaman cgi-bin/newsite,cgi atau cgi-bin/examle/idontknow cgi,maka mereka mau di indeks atau di akses oleh robot.
Dan jika anda ingin membatasi file robot tertentu,kemudian menyebutkan nama robot untuk membatasi dari mengindek situs anda.
”
User-agent: Googlebot-image
Disallow: /
Dalam contoh diatas,kita membatasi google image pencarian bot untuk mengindeks situs kami untuk gambar disini.Googlebot-image adalah robot yang mencoba untuk melarang dari situs kami. Jadi tanpa izin anda dari /robots.txt.Googlebot-image tidak seharusnya indeks file apapun dari directory root "/" dan semua subfolder,mau indeks apapun dari situs anda.Bot ini biasanya di gunakan untuk memindai gambar untuk menunjukan kepada mereka di google-image pencariaan.
Tahap 3: Perbedaan antara /sesuatu / dan /sesuatu.
Disini kita akan melihat bagaimana membatasi file yang berbeda,folder atau tempat-tempat yang merugikan kesehatan diri sendiri.
”
User-agent:*
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-incluides
Panjang / perintah robots.txt memberitahu robot di atas bahwa sesuatu di direktori cgi-bin tidak dapat diakses oleh salah satu bot. Demikian wp-admin, wp-content, wp-includes direktori dibatasi untuk pelanggaran oleh robot.
Anda harus mencatat hal yang sangat penting tentang "/" penggunaan. Jika Anda ingin menyebutkan sebuah direktori atau folder di situs Anda, maka mereka harus memulai dan mengakhiri dengan "/" di file / robots.txt. Sebagai contoh,
”
User-agent:*
Disallow: /cgi-bin/
Ini akan memberitahu robot yang cgi-bin adalah direktori, dan.
”
User-agent:*
Disallow: /cgi-bin
Ini akan memberitahu robot untuk mengobati cgi-bin bukan sebuah direktori, tapi sebagai file dalam situs web Anda. Sama seperti cgi-bin.html atau sesuatu. Jadi menghindari membuat kesalahan yang hilang "/" di awal dan akhir untuk direktori.
Tahap 4: Bagaimanna untuk membatasi gambar yang tidak di inginkan ?
Jika Anda tidak ingin bot Google untuk mengindeks gambar tertentu, Anda dapat membatasi itu.
”
User-agent:Googlebot-image
Disallow: /image/adsense.jpg
Menggunakan perintah di atas, Anda dapat membatasi Googlebot-Image untuk gambar indeks adsense.jpg.
Tahap 5: Bagaimanna untuk membatasi halaman yang tidak di inginkan ?
Hanya mirip dengan perintah di atas, Anda juga dapat membatasi halaman tertentu dalam file / robots.txt.
”
User-agent:*
Disallow: /alfiyah/adsense.html
Disallow: /alfiyah/applications.html
Disallow: /alfiyah/scret.html
Perintah di atas menceritakan robot untuk tidak mengindeks atau merambah halaman yang disebutkan di atas. / seosiren / sini berarti direktori, dan adsense.html, applications.html, secret.html sebagai halaman. Jadi kita membatasi / alfiyah / serta halaman lain untuk menjadi indeks.
Tahap 6: Apa yang dimaksud dengan sempurna file layout/robots.txt?
Anda / file robots.txt harus sesuatu seperti ini.
”
Sitemap: http://cara-alfiyah.blogspot.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /wp-content/plugins/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Itulah, di atas / robots.txt berkas, kita membatasi direktori yang paling penting dan file yang akan diindeks atau dijelajahi oleh robot.
Tahap 7: Knock off!
Jika Anda tidak jelas atau masih bingung tentang file / robots.txt setelah membaca posting ini, saya akan menyarankan Anda untuk tiruan file / robots.txt dari teman atau website pesaing. Hehe! Itulah apa yang dapat Anda lakukan ketika Anda tidak jelas tentang hal-hal instan
