Ko'pgina veb-sayt egalari resurslarni indekslashni taqiqlash va ularni qidiruv tizimlaridan olib tashlash muammosiga duch kelishmoqda. Bu odatda sayt eskirgan va ahamiyatsiz bo'lib qolishi, nashriyot yoki tashrif buyuruvchilarning saytga qiziqishini yo'qotishi yoki shaxsiy va hattoki maxfiy ma'lumotlarni o'z ichiga olganligi sababli sodir bo'ladi.
Ko'rsatmalar
1-qadam
Saytni qidiruv tizimlaridan olib tashlashning ko'plab usullari mavjud.
So'rov natijalarini qidiruv tizimidan o'chirishning birinchi va eng oson usuli bu sahifaning o'zi saytdan o'chirish yoki FMS ulanishi orqali CMS saytini to'liq o'chirish. Bir necha kun ichida qidiruv tizimi ma'lumotlar bazasini yangilaydi va qidiruv natijalaridan sizning resursingizga havolani olib tashlaydi.
2-qadam
Veb-ustalar orasida saytni, uning alohida bo'limlarini yoki sahifalarini indekslashdan himoya qilish va shu bilan qidiruv natijalaridan havolalarni olib tashlashning eng mashhur usuli robots.txt faylini tahrirlashdir.
Kod yordamida indekslashdan alohida sahifani yopishingiz mumkin:
Foydalanuvchi-agent: *
Ruxsat berish: /page.html (page.html sahifasini yopish)
Internetda robots.txt fayli uchun kodlardan foydalanish bo'yicha ko'plab mualliflarning ko'rsatmalari mavjud.
3-qadam
Sayt sahifalarini qidiruv tizimlaridan olib tashlashning uchinchi usuli bu uning sahifalarida robotlar meta tegidan foydalanishdir. Teg yorliqlar orasidagi yashirin sahifalarning HTML kodida yoziladi.
Shunday qilib, PS saytini reindekslashdan so'ng, ushbu meta yorlig'i bo'lgan sahifalar qidiruvdan chiqib ketadi. Ushbu usulning nochorligi shundaki, ko'plab zamonaviy saytlarda tpl shablonlari ishlatiladi, ya'ni siz kodni yuzlab, balki minglab sahifalarda qo'lda o'zgartirishingiz kerak bo'ladi.
4-qadam
Saytlarni qidiruv tizimlaridan olib tashlashning to'rtinchi usuli - X-Robots-Tag sarlavhalaridan foydalanish. Ushbu sarlavhaning mohiyati oldingi meta tegidan foydalanishga o'xshaydi, ammo yozuv http sarlavhalarida joylashgan bo'lishi kerak:
X-robotlar yorlig'i: noindex, nofollow
5-qadam
Veb-saytni (butunlay) qidiruv tizimlaridan olib tashlashning eng samarali usuli bu veb-usta panelidan olib tashlashdir. Yangilanishdan so'ng (3-7 kun) sayt qidiruv tizimiga kira olmaydi. Vebmasterlar paneli Yandex (https://webmaster.yandex.ru/delurl.xml) va Google (https://webmaster.yandex.ru/delurl.xml) qidiruv tizimlari uchun mavjud.
