Web Spidering un Web Crawlers definīcija

Zirnekļi ir programmas (vai automatizēti skripti), kas "pārmeklē" Web, meklējot datus. Zirnekļi ceļo caur vietnes URL un var vilkt datus no tīmekļa lapām, piemēram, e-pasta adresēm. Zirnekļi tiek izmantoti arī, lai ievadītu tīmekļa vietnēs atrodamo informāciju meklētājprogrammām.

Zirnekļi, kas tiek saukti arī par “tīmekļa rāpuļprogrammām” meklēšanu tīmeklī un ne visi ir draudzīgi savos nolūkos.

Surogātpasta izplatītāji Spider tīmekļa vietnes, lai apkopotu informāciju

Google, Yahoo! un citas meklētājprogrammas nav vienīgās, kas ir ieinteresētas pārmeklēt tīmekļa vietnes - tā ir scammers un surogātpasta izplatītāji.

Zirnekļi un citi automatizēti rīki tiek izmantoti surogātpasta izplatītājiem, lai tīmekļa vietnēs atrastu e-pasta adreses (internetā šo praksi bieži dēvē par “ražas novākšanu”), un pēc tam tās izmanto, lai izveidotu surogātpasta sarakstus.

Zirnekļi ir arī rīks, ko meklētājprogrammas izmanto, lai uzzinātu vairāk par jūsu vietni, bet atstātu nekontrolētu, tīmekļa vietne bez norādījumiem (vai “atļaujas”) par to, kā pārmeklēt jūsu vietni, var radīt būtiskus informācijas drošības riskus. Zirnekļi ceļo, sekojot saitēm, un viņi ir ļoti lietpratīgi, lai atrastu saites uz datu bāzēm, programmu failiem un citu informāciju, kurai jūs nevēlaties, lai viņiem būtu piekļuve.

Tīmekļa pārziņi var apskatīt žurnālus, lai redzētu, ko zirnekļi un citi roboti ir apmeklējuši viņu vietnes. Šī informācija palīdz tīmekļa pārziņiem zināt, kas indeksē savu vietni un cik bieži.

Šī informācija ir noderīga, jo tā ļauj tīmekļa pārziņiem precīzi pielāgot savus SEO un atjaunināt robotu.txt failus, lai aizliegtu dažiem robotiem nākotnē pārmeklēt viņu vietni.

Padomi, kā aizsargāt jūsu vietni no nevēlamiem robotu roboti

Ir diezgan vienkāršs veids, kā novērst nevēlamus rāpuļprogrammas no jūsu tīmekļa vietnes. Pat ja neesat noraizējies par ļaunprātīgiem zirnekļiem, kas pārmeklē jūsu vietni (e-pasta adreses aizskaršana neaizsargās jūs no lielākajiem rāpuļprogrammām), jums joprojām ir jāsniedz meklētājprogrammas ar svarīgiem norādījumiem.

Visās tīmekļa vietnēs jābūt failam, kas atrodas root direktorijā, ko sauc par robots.txt failu. Šis fails ļauj jums uzdot tīmekļa pārmeklētājiem, kur vēlaties, lai tie meklētu indeksu lapas (ja vien nav norādīts citādi konkrētā lapas metadatos, kas nav indeksēti), ja tie ir meklētājprogrammas.

Tāpat kā jūs varat pateikt, ka meklētie roboti, kur vēlaties tos pārlūkot, varat arī pateikt viņiem, kur viņi nevar iet un pat bloķēt konkrētus robotus no visas jūsu tīmekļa vietnes.

Ir svarīgi paturēt prātā, ka labi saliktam robots.txt failam būs milzīga vērtība meklētājprogrammām, un tas pat varētu būt galvenais elements, lai uzlabotu jūsu vietnes veiktspēju, bet daži robotu roboti joprojām ignorēs jūsu norādījumus. Šī iemesla dēļ ir svarīgi visu laiku atjaunināt visu jūsu programmatūru, spraudņus un lietotnes.

Saistītie raksti un informācija

Sakarā ar informācijas novākšanas biežumu, kas tika izmantots nežēlīgiem (surogātpasta) mērķiem, 2003. gadā tika pieņemti tiesību akti, lai noteiktu praksi nelikumīgi. Šie patērētāju aizsardzības tiesību akti ietilpst 2003. gada CAN-SPAM likumā.

Ir svarīgi, lai jūs veltītu laiku, lai izlasītu CAN-SPAM likumu, ja jūsu uzņēmums nodarbojas ar masu sūtīšanu vai informācijas ievākšanu.

Vairāk par anti-spam likumiem un to, kā rīkoties ar surogātpasta izplatītājiem, un to, ko jūs kā uzņēmuma īpašnieks nevar darīt, varat uzzināt, izlasot šādus rakstus:

• CAN-SPAM Act 2003
• CAN-SPAM likuma noteikumi bezpeļņas organizācijām
• 5 CAN-SPAM noteikumi Mazo uzņēmumu īpašniekiem ir jāapzinās