Back to Question Center
0

Semalt Inatoa Tips juu ya Jinsi ya Kufanya Na Bots, Spider na Crawlers

1 answers:

Mbali na kujenga injini ya utafutaji URL za kirafiki, faili ya .htaccess inakuwezesha webmasters kuzuia bots maalum kutoka kwenye tovuti yao. Njia moja ya kuzuia robots hizi ni kupitia faili ya robots.txt. Hata hivyo, Ross Barber, Semalt Meneja wa Mafanikio ya Mteja, anasema kuwa ameona watembeaji wengine wanapuuza ombi hili. Mojawapo ya njia bora ni kutumia faili ya .htaccess ili uwazuie kutoka indexing maudhui yako.

Mabotani haya ni nini?

Wao ni aina ya programu iliyotumiwa na injini za utafutaji ili kufuta maudhui mapya kutoka kwenye mtandao kwa madhumuni ya kuashiria.

Wanafanya kazi zifuatazo:

  • Tembelea kurasa za wavuti ambazo umeunganishwa na
  • Angalia msimbo wako wa HTML kwa makosa
  • Wao huhifadhirasa za wavuti ambazo unaunganisha na kuona nirasa gani za wavuti zilizounganishwa na maudhui yako
  • Wanasema maudhui yako

Hata hivyo, bots fulani ni mbaya na kutafuta tovuti yako kwa anwani za barua pepe na fomu ambazo hutumiwa kutuma ujumbe usiohitajika au spam. Wengine hata kutafuta tahadhari za usalama katika msimbo wako.

Ni nini kinachohitajika ili kuzuia wavuti wavuti?

Kabla ya kutumia faili ya .htaccess, unahitaji kuangalia mambo yafuatayo:

1. Tovuti yako lazima iwe mbio kwenye seva ya Apache. Siku hizi, hata wale makampuni ya mtandao mwenyeji wa nusu bora katika kazi zao, huwapa ufikiaji wa faili inayohitajika.

2. Unapaswa kufikia wewe ni kumbukumbu za salama za salama za tovuti yako ili uweze kupata machapisho gani ya kutembelea kurasa zako za wavuti.

Kumbuka hakuna njia ambayo utakuwa na uwezo wa kuzuia roboti zote za hatari isipokuwa unazuia wote, hata wale unaowafikiria kuwa na manufaa. Boti mpya zinakuja kila siku, na wazee hubadilisha. Njia yenye ufanisi zaidi ni kupata code yako na kuifanya kuwa vigumu kwa roboti kukupeleka.

Kutambua bots

Bots zinaweza kutambuliwa na anwani ya IP au kutoka "Kamba ya Wakala wa Mtumiaji," ambayo hutuma kwenye vichwa vya HTTP. Kwa mfano, Google inatumia "Googlebot."

Unaweza kuhitaji orodha hii na robot 302 ikiwa tayari una jina la bot ambayo ungependa kuweka mbali kutumia .htaccess

Njia nyingine ni kupakua faili zote za logi kutoka kwa seva na kuzifungua kwa kutumia mhariri wa maandishi.Mahali yao kwenye seva yanaweza kubadilika kulingana na usanidi wako wa seva.Kama huwezi kupata, tafuta msaada kutoka kwa mwenyeji wako wa wavuti.

Ikiwa unatambua ukurasa uliotembelewa, au wakati wa ziara, ni rahisi kuja na bot isiyohitajika. Unaweza kutafuta faili ya logi na vigezo hivi.

Mara moja, umesisitiza roboti unayohitaji kuzuia; unaweza kisha kuwajumuisha kwenye faili ya .htaccess. Tafadhali kumbuka kuwa kuzuia bot haitoshi kuiacha. Inaweza kurudi na IP mpya au jina.

Jinsi ya kuwazuia

Pakua nakala ya faili ya .htaccess. Fanya salama ikiwa inahitajika.

Njia ya 1: kuzuia na IP

Msimbo huu wa kificho huzuia bot kwa kutumia anwani ya IP 197.0.0.1

amri ya kupiga, kuruhusu

Kupiga kutoka 197.0.0.1

mstari wa kwanza ina maana kwamba seva itazuia maombi yote yanayolingana na mwelekeo ulioweka na kuruhusu wengine wote.

Mstari wa pili unaelezea seva ili kutoa ukurasa wa 403: marufuku

Njia ya 2: Kuzuia na mawakala wa mtumiaji

Njia rahisi ni kutumia injini ya upya ya Apache

Andika upya

RewriteCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

Mstari wa kwanza unahakikisha kuwa moduli ya kurejesha imewezeshwa. Mstari wa mbili ni hali ambayo utawala hutumika. "F" katika mstari wa 4 inamwambia seva ya kurudi 403: Inaruhusiwa wakati "L" inamaanisha hii ni kanuni ya mwisho.

Utakapakia faili ya .htaccess kwenye seva yako na urejesha moja iliyopo. Kwa muda, unahitaji kurekebisha IP ya bot. Ikiwa unafanya hitilafu, tu upload kipengee ulichofanya.

November 29, 2017
Semalt Inatoa Tips juu ya Jinsi ya Kufanya Na Bots, Spider na Crawlers
Reply