HOME
Home » Blog & SEO » Cara Membuat Fail robots.txt di cPanel

Cara Membuat Fail robots.txt di cPanel

Posted at | Categorised in Blog & SEO

Sekiranya anda pernah membina laman web anda sendiri, anda mungkin pernah mendengar fail robotx.txt dan bertanya-tanya, untuk apa fail ini? Anda berada di tempat yang betul! Di bawah ini, kami akan mengkaji apakah fail ini dan mengapa ia penting.

Apakah fail robots.txt?

Pertama sekali, robots.txt tidak lebih daripada fail teks biasa (ASCII atau UTF-8) yang terletak di direktori root domain anda, yang menyekat (atau membenarkan) mesin carian untuk mengakses kawasan tertentu di laman web anda. Robots.txt mengandungi sekumpulan perintah (atau arahan) yang mudah dan biasanya digunakan untuk menyekat trafik perayap ke pelayan anda, sehingga mencegah penggunaan sumber yang tidak diinginkan.

Mesin pencari menggunakan crawler (atau bot) yang disebut untuk mengindeks bahagian laman web dan mengembalikannya sebagai hasil carian. Anda mungkin mahu data sensitif tertentu yang disimpan di pelayan anda tidak dapat diakses untuk carian web. Fail robots.txt membantu anda melakukannya.

Catatan: Fail atau halaman di laman web anda tidak sepenuhnya dipotong dari perayap (cut off from crawlers) sekiranya fail ini diindeks / dirujuk dari laman web lain. Untuk melindungi URL anda dengan betul dari muncul di enjin carian Google, anda dapat melindungi fail dengan kata laluan terus dari pelayan anda.

Cara Membuat Fail robots.txt di cPanel

Cara membuat fail robots.txt

Untuk membuat fail robots.txt anda (jika belum ada), ikuti langkah-langkah berikut:

1. Log masuk ke akaun cPanel anda

2. Navigasi ke bahagian FILES dan klik pada Pengurus Fail

 

Cara membuat fail robots.txt

3. Browse File Manager ke direktori laman web (mis. Public_html) kemudian Klik pada “Fail Baru” >> Ketik “robots.txt” >> Klik “Buat Fail Baru“.

4. Sekarang anda bebas mengedit kandungan fail ini dengan mengklik dua kali padanya.

Catatan: anda hanya boleh membuat satu fail robots.txt untuk setiap domain. Pendua tidak dibenarkan pada jalan akar yang sama. Setiap domain atau sub-domain mesti mengandungi fail robots.txt sendiri.

Contoh peraturan penggunaan dan sintaksis (syntax rules)

Biasanya, fail robots.txt mengandungi satu atau lebih peraturan, masing-masing pada baris tersendiri. Setiap peraturan menyekat atau membenarkan akses ke crawler tertentu ke laluan fail yang ditentukan atau keseluruhan laman web.

  • Sekat semua perayap (ejen pengguna) daripada mengakses log dan direktori ssl.

User-agent:*
Disallow: /logs/
Disallow: /ssl/

  • Sekat semua perayap untuk mengindeks keseluruhan laman web. 
User-agent: *
Disallow: /
  • Benarkan semua ejen pengguna mengakses seluruh laman web.

User-agent: *
Allow: /

  • Sekat pengindeksan untuk keseluruhan laman web dari perayap tertentu.


User-agent: Bot1
Disallow: /

 

  • Benarkan indeks ke perayap web tertentu dan menghalang pengindeksan dari orang lain.

User-agent: Googlebot
Disallow:
User-agent: * Disallow: /

Di bawah User-agent: anda boleh menaip nama perayap tertentu. Anda juga boleh memasukkan semua perayap hanya dengan mengetik simbol bintang (*). Dengan perintah ini, anda dapat menyaring semua perayap kecuali perayap AdBot, yang perlu anda sebutkan secara jelas. Anda boleh mendapatkan senarai semua perayap di internet.

Selain itu, agar perintah Allow and Disallow berfungsi hanya untuk fail atau folder tertentu, anda mesti selalu memasukkan perkataan Allow atau Disallow di antara “/”.

Perhatikan bagaimana kedua-dua arahan peka huruf besar-kecil? Sangat relevan untuk diketahui, bahawa tetapan default  ejen perayap adalah supaya mereka dapat mengakses halaman atau direktori apa pun jika tidak disekat oleh Disallow:

Catatan: Anda boleh mendapatkan sekumpulan peraturan dan contoh sintaksis yang lengkap di sini.

Cara Memulakan Blog Sendiri Dalam 10 Minit (Atau Kurang)
Ingin Menjadi Blogger yang Terkenal? Baca Ini!
Cara Memulakan Blog Sendiri Dalam 10 Minit (Atau Kurang)
Ingin Menjadi Blogger yang Terkenal? Baca Ini!

Daftar menggunakan link ini dan anda akan menerima Bitcoin bernilai RM25.00 apabila anda memasukkan wang ke dalam wallet Luno anda dan membeli atau menjual Bitcoin dengan nilai RM250.

Tags :

No comment for Cara Membuat Fail robots.txt di cPanel

Leave a Reply

Your email address will not be published. Required fields are marked *

Related Post to Cara Membuat Fail robots.txt di cPanel

Mengapa Perlu Promosikan Channel YouTube Anda?

Mengapa Perlu Promosikan Channel YouTube Anda?

Posted at

Mengapa Perlu Promisikan Channel YouTube Anda? – Promosi YouTube dapat membantu anda mengembangkan saluran (channel) dan mempromosikan kandungan dalam beberapa arah sekaligus. Selalunya, mempromosikan... Read More

Ingin Menjadi Blogger yang Terkenal? Kemudian Baca Ini!

Ingin Menjadi Blogger yang Terkenal? Baca Ini!

Posted at

Ingin Menjadi Blogger yang Terkenal? Kemudian Baca Ini! Saya tahu bahawa setiap pembaca blog ini mengunjungi dan membacanya untuk mempelajari sesuatu yang berguna dan... Read More

Cara Memulakan Blog Sendiri

Cara Memulakan Blog Sendiri Dalam 10 Minit (Atau Kurang)

Posted at

Cara Memulakan Blog Sendiri! Selamat mengambil langkah pertama untuk membina blog anda sendiri dengan BERTINDAK SEKARANG!. Saya akan memandu anda melalui 5 langkah mudah... Read More

Cara Meningkatkan Trafik Ke Channel YouTube Anda

Cara Meningkatkan Trafik Ke Channel YouTube Anda

Posted at

Jadi Anda Ingin Menjadi Bintang YouTube? Ramai orang telah berusaha untuk menguruskan saluran (Channel) YouTube mereka tetapi gagal mencapai kejayaan. Saya telah menonton beberapa... Read More

Jawatan Kosong PERKESO

Jawatan Kosong PERKESO

Posted at

Jawatan Kosong PERKESO – Warganegara Malaysia yang berkelayakan, memiliki daya kepimpinan yang dinamik, kompeten dan inovatif serta ingin memulakan kerjaya di suasana yang baru dan... Read More