Har bir saytning sahifalari muntazam ravishda qidiruv robotlari tomonidan ko'rib chiqiladi, ular saytdagi ma'lumotlarni qayta ishlash tizimlarida foydalanuvchilarning iltimosiga binoan mavjud bo'ladigan qilib qayta ishlaydi. Qidiruv tizimlardan tashrif buyuruvchilarning tashriflari sayt trafikiga ijobiy ta'sir ko'rsatadi va resursning rivojlanishini rag'batlantiradi. Agar saytda Internet-auditoriya uchun mo'ljallanmagan sahifalar mavjud bo'lsa (masalan, foydalanuvchilarning shaxsiy sahifalari yoki ro'yxatdan o'tish sahifasi), unda qidiruv tizimlaridan bunday sahifalarga o'tish kerak emas va ushbu ma'lumotni indekslashni taqiqlash yaxshiroqdir.
Kerakli
- - o'z veb-saytingizga ega bo'ling
- - indekslashni taqiqlash kerak bo'lgan sahifalarga havolalarni bilish.
- - hech bo'lmaganda HTML haqida dastlabki ma'lumotlarga ega bo'lish
Ko'rsatmalar
1-qadam
Izlash robotining saytning ba'zi sahifalarini indekslashiga yo'l qo'ymaslik uchun, robots.txt faylida, agar u sizning saytingizda bo'lsa, o'zgartirish kiritishingiz yoki ushbu faylni yaratishingiz kerak.
2-qadam
Agar robots.txt fayli saytga allaqachon yuklangan bo'lsa va ushbu faylni to'g'ridan-to'g'ri resurslarni boshqarish panelidan tahrirlash mumkin bo'lsa, unda tahrirlash uchun veb-xizmat orqali robots.txt-ni oching.
3-qadam
Agar kerakli faylga to'g'ridan-to'g'ri boshqaruv panelidan o'zgartirish kiritish imkoni bo'lmasa, brauzerda robots.txt-ni ushbu faylga havolani bosish orqali oching. Ochilgan sahifadagi barcha ma'lumotlarni nusxa ko'chiring va uni bloknotga varaqqa joylashtiring.
4-qadam
Agar saytda robots.txt bo'lmasa, "Bloknot" dasturini oching, uning yangi hujjatida kerakli kodni kiritishingiz kerak bo'ladi.
5-qadam
Matnli hujjatning bo'sh varag'iga birinchi kerakli qatorni yozing:
Foydalanuvchi-agent: *
6-qadam
Keyin Enter tugmachasini bosib keyingi qatorga o'ting va quyidagi kodni kiriting:
Ruxsat berish: / index / page3Disallow: indekslashning yo'qligini bildiradi va / index / page3 - indeksatsiya qilinishi shart bo'lmagan sahifaga havola. Havola / indeks / sahifa3 o'rniga, o'zingizning saytingiz sahifasiga robotlar tomonidan qayta ishlash uchun blokirovka qilishni istagan havolani kiriting.
7-qadam
E'tibor bering, havolaning boshida domen nomining o'zi yo'qolgan; uning yozuvida mavjudligi oldinga siljishni bildiradi. Saytni skanerlashda qidiruv robot avtomatik ravishda bunday havolalarga domen nomini qo'shadi. Shu sababli, kerakli sahifalarga havolalarni shu tarzda yozing.
8-qadam
Ruxsat berilgandan so'ng: siz faqat ma'lum bir sahifaga havolani emas, balki saytning istalgan bo'limiga yoki katalogiga havolani joylashtirishingiz mumkin. Xuddi shunday, siz saytning kerakli qismini indekslashni taqiqlashingiz mumkin.
9-qadam
Agar resurslarning bir nechta turli bo'limlarini robotlar tomonidan qayta ishlashni taqiqlash zarur bo'lsa, har bir bo'limga yoki sahifaga yangi satrda havola yozing, uning boshida Disallow: yozuvini qo'yishni unutmang.
10-qadam
Robots.txt-ni o'zgartirishni tugallash uchun faylni boshqaruv panelida tahrirlash paytida "Saqlash" tugmasini bosing yoki matnli hujjatni robots.txt nomi ostida yozuvlar bilan saqlang va ushbu faylni saytga yuklang.
