Cara mengatasi URL yang dicekal Robot.txt

Cara mengatasi URL yang dicekal Robot.txt - Selamat damai teman-teman blogger semua. Pada kesempatan ini saya ingin berbicara tentang cara mengatasi URL yang dicekal Robot.txt. Pasti pada sudah tau apa itu robot.txt kan? Apalagi kalau sampai URL blog kita sampai dicekal oleh robot.txt, tentu ini akan berpengaruh buruk pada blog kita, visitor blog akan turun, artikel tidak akan terindek google, otomatis artikel kita tidak akan bisa menduduki halaman pertama google. Bagaimana kita bisa mengetahui jumlah URL kita yang dicekal oleh robot.txt?

Untuk bisa melihatnya sobat harus mendaftarkan web sobat lebih dahulu ke webmaster tools google. Sekarang kita kembali ke cara melihat jumlah URL yang dicekal oleh robot.txt. Caranya cukup mudah, berikut caranya,

1. Log in ke akun google sobat dan masuklah Webmaster tools Google.

2. Klik blog sobat yang ingin dilihat berapa URL yang dicekal.

3. Pilih menu perayapan.

4. Pilih Url yang dicekal.

Sekarang sobat telah mengetahui berapa banyak URL blog sobat yang telah dicekal oleh robot.txt. Nah sekarang tinggal bagaiamana cara mengatasinya. Berikut ulasannya,

1. Log in ke akun google sobat.

2. Masuk Dashboard, pilih Setelan, pilih Preferensi Penelusuran.

3. Pada perayap dan pengindekan plilih edit di menu robots.txt khusus.

4. Aktifkan konten robots.txt khusus dengan menggantinya menjadi jawaban "Ya".

5. Kopas kode dibawah ini ke kolom yang tersedia,

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://pengetahuanwawasanz.blogspot.co.id/feeds/post/default?orderby=UPDATED

6. Terakhir simpan perubahan.

Untuk tulisan berwarna werah pada kode gantilah dengan URL web sobat masing-masing. Tunggulah beberapa hari untuk melihat hasilnya. Cara ini mungkin tidak akan membebaskan semua URL blog kita secara keseluruhan, tapi kan lumayan kalau bisa mengurangi. Sekian bagi-bagi saya kali ini. Semangat blogging!!..