Home Profile Sitemap Contact Us
Join KS Page Follow KS Page Read KS RSS Mobile Version
Home » Blog » SEO » Tips Robots.txt yang Baik untuk SEO

Tips Robots.txt yang Baik untuk SEO

Post: Kamis, 26 Mei 2011 - 22:10:18 WIB - In: SEO - Dilihat: 1.823 kali

tidak ada bintang comment 0 suka 211 tidak suka 138increase font decrease font share via addthis
Tips Robots.txt yang Baik untuk SEO

Berbicara masalah Search Engine Optimization memang tidak ada habisnya, dan senantiasa dikaitkan dengan mendulang trafik. Tentu saja banyak hal yang harus dipersiapkan untuk mendatangkan trafik melalui Search Engine Optimization itu sendiri. Berbagai macam hal yang disenangi oleh search engine akan dilakukan demi memanjakan search engine agar mau memposisikan web kita di posisi strategisnya. Tidak terkecuali dengan settingan robots.txt ini. Hal itu dikarenakan search engine manapun pastilah menggunakan bot nya untuk mencrawl beberapa informasi penting didalamnya.

Nah, jika sang bot dari search engine ini datang, dia akan mengindikasikan ada tidaknya file robots.txt ini. Jika ada maka sang bot akan langsung mengindikasikan beberapa hal settingan yang ada didalamnya. Terutama hal-hal mana yang boleh dicrawl mana yang tidak boleh. Dan ini merupakan tantangan tersendiri bagi pemilik web untuk bisa sedemikian mungkin melakukan setting yang optimal untuk Search Engine Optimization terutama dalam mendatangkan ribuan trafik.

Sedangkan pembuatan Robot.txt yang baik untuk Search Engine Optimization yang bisa mendatangkan trafik :

Untuk halaman-halaman sensitif gunakan proteksi keamanan tidak cuma robots.txt misalnya htaccess.
Tidak mengijinkan search result terindeks search engine.
Tidak mengijinkan halaman-halaman yang mirip terindeks search engine.
Tidak mengijinkan URL dari proxy server terindeks search engine.

Namun bukan berarti robots.txt mengeblok pengunjung yang akan datang ke web kita karena pengunjung tetap bisa membukanya jika tahu URL-nya, dan robots.txt ini hanya mencegah search engine mengindeks halaman tertentu saja. Sedangkan untuk Search Engine Optimization, jika ada halaman yang mirip bisa dikatakan duplicate content dan itu tidak disukai search engine. Efekenya tentu akan berimbas pada posisi SERP dan trafik.

Contoh settingan robots.txt yang baik untuk Search Engine Optimization dan mendatangkan banyak trafik :

Sitemap: SEO
User-agent: IRLbot
Crawl-delay: 3600

User-agent: *
Disallow: /next/

User-agent: *
Disallow: /feed
Disallow: /comments
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /author/
Disallow: /cgi-bin/
Disallow: /log/wp-admin/
Disallow: /log/wp-includes/
Disallow: /log/wp-content/plugins/
Disallow: /log/wp-content/themes/
Disallow: /log/trackback
Disallow: /log/comments
Disallow: /log/feed

Semoga Bermanfaat :)

Baca Juga
Komentar

Jadilah orang pertama yang menulis komentar dengan mengisi form dibawah ini

Nama
Website
Email
Rating 1 2 3 4 5
Komentar
Key Codekode captcha
Kode
 
Costumer Service
CS KS 1
Chat yahoo messenger with CS KS 1
Wilda Satya Perdana (Owner)
Phone: +62 898-1390-966
E-Mail: Ke Email
FB: Klik Disini
Chat yahoo messenger with Wilda Satya Perdana (Owner)
We Accept
BANK MANDIRI CAB BATU - MALANG
BANK MANDIRI CAB BATU - MALANG
Rek: 1440011320709
a/n: WILDA SATYA PERDANA
Pesan Domain
Silahkan masukkan nama domain yang anda pesan pada form diatas untuk di cek statusnya ada (Available) atau sudah diambil (Taken)

Belum Punya Hosting ? Atau Mau Cari Hosting? [Cek disini]