Search

Cara Membuat Fail robots.txt di cPanel

Sekiranya anda pernah membina laman web anda sendiri, anda mungkin pernah mendengar fail robotx.txt dan bertanya-tanya, untuk apa fail ini? Anda berada di tempat yang betul! Di bawah ini, kami akan mengkaji apakah fail ini dan mengapa ia penting.

Apakah fail robots.txt?

Pertama sekali, robots.txt tidak lebih daripada fail teks biasa (ASCII atau UTF-8) yang terletak di direktori root domain anda, yang menyekat (atau membenarkan) mesin carian untuk mengakses kawasan tertentu di laman web anda. Robots.txt mengandungi sekumpulan perintah (atau arahan) yang mudah dan biasanya digunakan untuk menyekat trafik perayap ke pelayan anda, sehingga mencegah penggunaan sumber yang tidak diinginkan.

Mesin pencari menggunakan crawler (atau bot) yang disebut untuk mengindeks bahagian laman web dan mengembalikannya sebagai hasil carian. Anda mungkin mahu data sensitif tertentu yang disimpan di pelayan anda tidak dapat diakses untuk carian web. Fail robots.txt membantu anda melakukannya.

Catatan: Fail atau halaman di laman web anda tidak sepenuhnya dipotong dari perayap (cut off from crawlers) sekiranya fail ini diindeks / dirujuk dari laman web lain. Untuk melindungi URL anda dengan betul dari muncul di enjin carian Google, anda dapat melindungi fail dengan kata laluan terus dari pelayan anda.

Cara membuat fail robots.txt

Untuk membuat fail robots.txt anda (jika belum ada), ikuti langkah-langkah berikut:

1. Log masuk ke akaun cPanel anda

2. Navigasi ke bahagian FILES dan klik pada Pengurus Fail

 

Cara membuat fail robots.txt

3. Browse File Manager ke direktori laman web (mis. Public_html) kemudian Klik pada “Fail Baru” >> Ketik “robots.txt” >> Klik “Buat Fail Baru“.

4. Sekarang anda bebas mengedit kandungan fail ini dengan mengklik dua kali padanya.

Catatan: anda hanya boleh membuat satu fail robots.txt untuk setiap domain. Pendua tidak dibenarkan pada jalan akar yang sama. Setiap domain atau sub-domain mesti mengandungi fail robots.txt sendiri.

Contoh peraturan penggunaan dan sintaksis (syntax rules)

Biasanya, fail robots.txt mengandungi satu atau lebih peraturan, masing-masing pada baris tersendiri. Setiap peraturan menyekat atau membenarkan akses ke crawler tertentu ke laluan fail yang ditentukan atau keseluruhan laman web.

• Sekat semua perayap (ejen pengguna) daripada mengakses log dan direktori ssl.

User-agent:*
Disallow: /logs/
Disallow: /ssl/

• Sekat semua perayap untuk mengindeks keseluruhan laman web. 

User-agent: *
Disallow: /

• Benarkan semua ejen pengguna mengakses seluruh laman web.

User-agent: *
Allow: /

• Sekat pengindeksan untuk keseluruhan laman web dari perayap tertentu.

User-agent: Bot1
Disallow: /

 

• Benarkan indeks ke perayap web tertentu dan menghalang pengindeksan dari orang lain.

User-agent: Googlebot
Disallow:
User-agent: * Disallow: /

Di bawah User-agent: anda boleh menaip nama perayap tertentu. Anda juga boleh memasukkan semua perayap hanya dengan mengetik simbol bintang (*). Dengan perintah ini, anda dapat menyaring semua perayap kecuali perayap AdBot, yang perlu anda sebutkan secara jelas. Anda boleh mendapatkan senarai semua perayap di internet.

Selain itu, agar perintah Allow and Disallow berfungsi hanya untuk fail atau folder tertentu, anda mesti selalu memasukkan perkataan Allow atau Disallow di antara “/”.

Perhatikan bagaimana kedua-dua arahan peka huruf besar-kecil? Sangat relevan untuk diketahui, bahawa tetapan default  ejen perayap adalah supaya mereka dapat mengakses halaman atau direktori apa pun jika tidak disekat oleh Disallow:

Catatan: Anda boleh mendapatkan sekumpulan peraturan dan contoh sintaksis yang lengkap di sini.

Cara Memulakan Blog Sendiri Dalam 10 Minit (Atau Kurang)
Ingin Menjadi Blogger yang Terkenal? Baca Ini!
Cara Memulakan Blog Sendiri Dalam 10 Minit (Atau Kurang)
Ingin Menjadi Blogger yang Terkenal? Baca Ini!

Related Post to Cara Membuat Fail robots.txt di cPanel