Indekslash - bu qidiruv robotining Internet-resursida joylashgan fayllarni skanerlash jarayoni. Ushbu protsedura sayt qidiruv tizimidagi turli xil so'rovlar uchun qidiruv natijalarida mavjud bo'lishi uchun amalga oshiriladi. Bugungi kunda eng katta qidiruv tizimlari orasida Yandex ushbu skanerlashni o'ziga xos tarzda olib boradi.
Ko'rsatmalar
1-qadam
Internet-saytni indeksatsiyasi maxsus avtomatik dasturlar - qidiruv robotlari tomonidan amalga oshiriladi, ular avtomatik ravishda Internet tarmog'ida yangi saytlarning paydo bo'lishini kuzatib boradi, Internetda joylashgan Internet-sahifalarni, fayllarni va ularga havolalarni har bir resursda doimiy ravishda skaner qiladi.
2-qadam
Skanerlash uchun robot ma'lum bir serverda manba joylashgan katalogga o'tadi. Yangi sayt tanlashda robot uning mavjudligiga qarab boshqariladi. Masalan, Yandex birinchi navbatda rus tilidagi domenda va rus tilida yaratilgan saytlarni skanerdan o'tkazadi - ru, rf, su yoki ua, va shundan keyingina boshqa mintaqalarga ko'chib o'tadi degan fikr mavjud.
3-qadam
Robot saytga o'tadi va uning tuzilishini skanerdan o'tkazadi, avval qo'shimcha qidirishni ko'rsatadigan fayllarni qidiradi. Masalan, sayt Sitemap.xml yoki robots.txt uchun skanerdan o'tkaziladi. Ushbu fayllar skanerlashda qidiruv robotining xatti-harakatlarini sozlash uchun ishlatilishi mumkin. Sayt xaritasi (sitemap.xml) yordamida robot resurs tuzilishi haqida aniqroq tasavvurga ega bo'ladi. Veb-usta qidiruv natijalarida ko'rsatilishini istamaydigan fayllarni aniqlash uchun robots.txt-dan foydalanadi. Masalan, bu shaxsiy ma'lumotlar yoki boshqa kiruvchi ma'lumotlar bo'lishi mumkin.
4-qadam
Ushbu ikkita hujjatni skanerdan o'tkazib, kerakli ko'rsatmalarni olgan robot, HTML-kodni tahlil qilishni va qabul qilingan teglarni qayta ishlashni boshlaydi. Odatiy bo'lib, robots.txt fayli bo'lmagan taqdirda, qidiruv tizimi serverda saqlangan barcha hujjatlarni qayta ishlashni boshlaydi.
5-qadam
Hujjatlardagi havolalarni bosish orqali robot ushbu resursdan so'ng skanerlash uchun navbatda turgan boshqa saytlar haqida ham ma'lumot oladi. Saytdagi skaner qilingan fayllar matn nusxasi va Yandex ma'lumotlar markazlaridagi serverlarda tuzilma sifatida saqlanadi.
6-qadam
Qayta skanerlash zarurati, shuningdek, robotlar tomonidan avtomatik ravishda aniqlanadi. Dastur indekslashdan o'tgach, mavjud skanerlash natijasini saytning yangilangan versiyasi bilan taqqoslaydi. Agar dastur tomonidan olingan ma'lumotlar har xil bo'lsa, sayt nusxasi Yandex serverida ham yangilanadi.
