Qidiruv tizimlar tomonidan indekslangan sahifalar resursga barqaror trafikni ta'minlaydi. Ammo hozirda sizning saytingiz ishlab chiqilayotgan bo'lsa, unda resurs sahifalarida qidiruv robotlarining paydo bo'lishi juda istalmagan, chunki qidiruvga kirgan to'ldirilmagan bo'limlar haqidagi ma'lumotlar sizning resursingizni uzoq vaqt davomida maqsadli tashrif buyuruvchilardan mahrum qilishi mumkin. Saytni robotlar tomonidan sudralib yurishdan vaqtincha himoya qilish uchun uni indekslashni taqiqlashingiz kerak. Buning uchun manba kodida bir nechta oddiy o'zgarishlarni kiritish kifoya.
Bu zarur
- - hech bo'lmaganda HTML haqida dastlabki ma'lumotlarga ega bo'lish
- - saytingiz fayl katalogining asosiy papkasini qanday ochishni biling
Ko'rsatmalar
1-qadam
Birinchidan, saytingizda resursni to'g'ri indeksatsiyasi uchun javob beradigan robots.txt fayli mavjudligini tekshiring. Buning uchun http: ⁄ ⁄ www site ru ⁄ robots.txt ⁄ ga o'ting, http: ⁄ ⁄ www site ru o'rniga veb-saytingiz manzilini qo'ying.
2-qadam
Agar siz ushbu havolani bosganingizda "User-agent: * Disallow …" shaklidagi yozuv ochilsa, demak, bu kerakli fayl sizning saytingizda mavjudligini anglatadi. Bunday holda, barcha saytingiz fayllari saqlanadigan root papkasiga o'ting va robots.txt faylini toping.
3-qadam
Agar saytingizni boshqarish tizimi ushbu faylni to'g'ridan-to'g'ri root papkasidan tahrirlashga imkon bersa, unda robots.txt-ni yordamchi xizmat orqali oching. Tizim interfeysi orqali faylga biron bir o'zgartirish kiritishning iloji bo'lmasa, hujjatni kompyuteringizga saqlang va bloknot dasturi orqali oching.
4-qadam
Hujjatning dastlabki ikkita satrini quyidagilarga o'zgartiring:
Foydalanuvchi-agent: *
Ruxsat bermaslik: /.
"User-agent: *" yozuvi quyidagi qoidalar barcha qidiruv robotlariga taalluqli ekanligini bildiradi va "Disallow: /" saytning barchasi indekslanmaganligini anglatadi. Tarkibni tuzatgandan so'ng, faylni saqlang.
5-qadam
Agar saytingizda robots.txt fayli bo'lmasa, bloknotda yangi hujjat yarating. Unga bir xil ikkita yozuvni kiriting, ularning har birini yangi qatorga joylashtiring va robots.txt nomi ostida "Faylni saqlash …" buyrug'i yordamida faylni saqlang.
6-qadam
Yaratilgan hujjatni saytingizning ildiz papkasiga yuklang va uning ishini yana http: ⁄ ⁄ www · site · ru · robots.txt ⁄ havolasi orqali tekshiring, bu erda "http: ⁄ ⁄ www · sayt · ru" o'rniga sizning resursingiz manzili.
7-qadam
Indekslashni taqiqlashning yana bir usuli bu sayt sahifalarining HTML kodiga maxsus meta teglarni kiritishdir. Ushbu usuldan foydalanish uchun sayt sahifalaridan birining kodida " yozuvlarini toping va darhol " qatoridan "keyin joylashtiring.
8-qadam
Agar sizning saytingiz HTML-da yozilgan bo'lsa, unda ushbu kod har bir sahifaga kiritilishi kerak. PHP resursi uchun bunday yozuvni header.php fayliga joylashtirish kifoya.
