Ba'zan veb-ustaga qidiruv tizimidan indekslangan sahifalardan birini olib tashlash kerak. Ko'pincha, ushbu operatsiya sahifaning manzilini sayt xaritasining umumiy ro'yxatiga noto'g'ri kiritgandan so'ng qo'llaniladi. Bir vaqtning o'zida Megafon kompaniyasining mutaxassislari ushbu xatoga duch kelishdi (sms-xabarlar Yandex qidiruv tizimining har qanday foydalanuvchisi uchun mavjud bo'ldi).
Bu zarur
Shaxsiy sayt
Ko'rsatmalar
1-qadam
O'zingizning veb-sahifangizni qidiruv tizimlari arxividan olib tashlashning eng oson usullaridan biri bu uni jismoniy o'chirish, manzil manzilini o'zgartirish va uni soxta o'chirishdir (o'chirilgan sahifaning atributini o'rnatishingiz kerak). Ushbu sahifani o'zgartirgandan so'ng, qidiruv robot tarkibning o'rniga quyidagi qatorni ko'radi: HTTP / 1.1 404 topilmadi. Shunga qaramay, qidiruv robotlari saytga har 3 soatda, balki 2-3 kunda bir marta kirishi mumkinligini unutmang. Shuning uchun, natijani olish uchun biroz kutishingiz kerak.
2-qadam
Keyingi yo'l robots.txt faylini tahrirlashdir, bu sizning saytingizga kelishi bilanoq brauzerning yo'lini belgilaydi. Ushbu matnli hujjat har doim bitta joyga ega - saytning ildizi. Birinchi xatboshida, odatda, Yandex robotining indekslash parametrlari ko'rsatilgan (u boshqa robotlardan sezilarli farq qiladi), ikkinchi xatboshida esa boshqa barcha qidiruv tizimlari uchun.
3-qadam
Paragrafning boshida siz "User-Agent: *" agentining sarlavhasini va yashiriladigan sahifalarning manzillarini belgilashingiz kerak - "Ruxsat berish: /wp-content/foto/fotojaba.html". Xuddi shu tarzda, siz indekslashdan yopmoqchi bo'lgan sahifalar yoki bo'limlarning manzillarini ko'rsatishingiz kerak. Iltimos, ushbu usul tez natija bermaydi. Agar sizning saytingiz faolligi past bo'lsa va yangiliklar ijtimoiy tarmoqlarda tarqatilmasa, yangi ma'lumotlarni qayta ishlash bir necha kunga yetishi mumkin. Bundan tashqari, ushbu sahifalarning versiyalarini qidirish xizmati arxividan o'chirishingiz kerak bo'ladi.
4-qadam
Robots.txt faylida havolalarni o'rnatishning muqobil usuli - bir xil nomdagi meta robotlar yorlig'idan foydalanish. Ushbu yorliq uchun sintaksis quyidagicha: u [head] va [/head] teglari orasiga joylashtirilishi kerak. Robotlar qiymati meta nomi yorlig'iga joylashtirilishi kerak. Misol quyidagicha ko'rinadi:.
