Qidiruv tizim roboti veb-sahifalarni skaner qilish uchun javobgardir. Dastur avtomatik ravishda barcha saytlardan ma'lumotlarni o'qiydi va ularni qidiruv tizimining o'zi uchun tushunarli bo'lgan shaklda ro'yxatdan o'tkazadi, shunda keyinchalik tizim foydalanuvchi uchun eng mos natijalarni namoyish etadi.
Vazifalar
Barcha indekslangan ma'lumotlar umumiy ma'lumotlar bazasida qayd etiladi.
Qidiruv robot - bu avtomatik ravishda Internet sahifalarida harakatlanadigan, kerakli hujjatlarni talab qiladigan va skaner qilingan saytlarning tuzilishini oladigan dastur. Robot skaner qilinadigan sahifalarni mustaqil ravishda tanlaydi. Ko'pgina hollarda, skanerlash uchun saytlar tasodifiy tanlanadi.
Bot turlari
Noto'g'ri ishlaydigan robot tarmoq va serverga yukni sezilarli darajada oshiradi, bu esa resursdan foydalanishga olib kelishi mumkin.
Har bir qidiruv tizimida robotlar deb nomlangan bir nechta dasturlar mavjud. Ularning har biri ma'lum bir funktsiyani bajarishi mumkin. Masalan, Yandex-da ba'zi robotlar RSS yangiliklar lentalarini skaner qilish uchun javobgardir, bu bloglarni indekslash uchun foydali bo'ladi. Bundan tashqari, faqat rasmlarni qidiradigan dasturlar mavjud. Biroq, eng muhimi, har qanday qidiruv uchun asos bo'lgan indekslovchi bot. Shuningdek, yangiliklar lentalari va voqealari haqidagi yangiliklarni qidirishga mo'ljallangan yordamchi tezkor robot mavjud.
Skanerlash tartibi
Tarkibni ko'rib chiqishni oldini olishning yana bir usuli - ro'yxatdan o'tish paneli orqali saytga kirish huquqini yaratish.
Saytga kirganda, dastur fayl tizimini robots.txt ko'rsatma fayllari mavjudligini tekshiradi. Agar hujjat bo'lsa, hujjatda yozilgan direktivalarni o'qish boshlanadi. Robots.txt saytdagi ba'zi sahifalar va fayllarni skanerlashni taqiqlashi yoki aksincha ruxsat berishi mumkin.
Skanerlash jarayoni dastur turiga bog'liq. Ba'zida robotlar faqat sahifa sarlavhalarini va bir nechta xatboshilarni o'qiydilar. Ba'zi hollarda skanerlash HTML belgisiga qarab butun hujjat davomida amalga oshiriladi, bu esa asosiy iboralarni ko'rsatish vositasi sifatida ham ishlashi mumkin. Ba'zi dasturlar maxfiy yoki meta teglarga ixtisoslashgan.
Ro'yxat qo'shilmoqda
Har bir veb-usta qidiruv tizimining robots.txt yoki META yorlig'i orqali sahifalarni ko'rib chiqishiga to'sqinlik qilishi mumkin. Shuningdek, sayt yaratuvchisi saytni indekslash navbatiga qo'lda qo'shishi mumkin, ammo uni qo'shish robot kerakli sahifani darhol ko'rib chiqishini anglatmaydi. Saytni navbatga qo'shish uchun qidiruv tizimlari maxsus interfeyslarni ham taqdim etadi. Sayt qo'shilishi indeksatsiya jarayonini sezilarli darajada tezlashtiradi. Shuningdek, qidiruv tizimida tezkor ro'yxatdan o'tish uchun veb-tahlil tizimlari, sayt kataloglari va hk.
