Drugi sistemi, kot so AltaVista, gredo v drugo smer, indeksiranje vsako posamezno besedo, na strani, vključno z ". A, " " an, " " " in drugi " nepomemben " besede. Pritisni in popolnost v tem pristopu se ujema z drugimi sistemi v pozornostjo do nevidnega del spletne strani, meta oznake. Izvedite več o meta oznak na naslednji strani.
Meta Tags
Meta tagi lastnik strani, da določite ključne besede in pojme, pod katerimi se bo stran indeksirane. To je lahko koristno, zlasti v primerih, v katerih bi lahko besede na strani, ki imajo dvojne ali trojne pomene - meta oznake lahko vodijo iskalnik pri izbiri, kateri od več možnih pomenov za te besede, je pravilna. Obstaja pa nevarnost v pretirano zanašanje na meta oznake, saj lahko malomarnega ali brezvesten lastnik stran dodajte meta oznake, ki ustrezajo zelo popularne teme, vendar nimajo nič opraviti z dejansko vsebino strani. Za zaščito pred tem, bodo pajki korelaciji meta oznake z vsebino strani, zavrnil meta oznake, ki se ne ujemajo besede na strani.
Vse to predpostavlja, da je lastnik strani dejansko želi, da bi bilo vključene v rezultate dejavnosti iskalnika. Veliko krat, lastnik strani, je ne želim, da prikazujejo na večjih iskalnikov, ali noče dejavnosti pajka dostopa do strani. Razmislite, na primer igre, ki gradi nove, aktivne strani vsakič, ko so odseki strani so prikazane ali nove povezave so sledili. Če Spletni pajek dostopi eno od teh strani, in se začne po vseh povezav za nove strani, lahko igra zamenjali dejavnost za visoke hitrosti človeško predvajalnika in spin izpod nadzora. Da bi se izognili situacijam, kot je ta, je bil razvit protokol izključitev robot. Ta protokol, ki se izvaja v oddelku meta-tag na začetku spletne strani, pove, pajek, da zapusti stran sama. - Niti do indeksa besede na strani, niti ne poskušamo slediti vezi
gradnjo indeksa
Ko so pajki zaključili nalogo iskanju informacij na spletnih straneh (in moramo omeniti, da je to naloga, ki je ni nikoli končan - nenehno spreminjajoča se narava spleta pomeni, da so pajki vedno plazi) mora iskalnik shranjevanje podatkov na način, ki omogoča, da je koristno. Obstajata dve ključni sestavni deli, ki sodelujejo pri zagotavljanju večje dostopnosti zbrani podatki za uporabnike:
V najprepro
