Din ceea ce am învățat în jurnalele serverului meu, Adresele IP începând cu 64.249 aparțin google. Când fac o căutare a gazdei pe computerul meu pentru google, primesc 11 adrese IP diferite, toate începând cu 74.125.226.

Apoi merg aici http://www.iplists.com/ și aflați acolo „sunt mai multe adrese IP pentru google.

Am făcut chiar și o căutare whois într-un prompt de comandă pentru google și am văzut„ Încetarea căutării 50 de înregistrări găsite ….. „împreună cu o grămadă de servere cu nume neobișnuite, cum ar fi GOOGLE.COM.ANGRYPIRATES.COM și GOOGLE.COM.AFRICANBATS.ORG. Împreună cu diferite adrese IP pe care nu le-am mai văzut, cum ar fi 91.218.229.20.

Ceea ce vreau să fac este să afișez pe lista albă adrese IP Google reale. Ar trebui să merg mai departe și să afișez lista albă a fiecărei adrese IP pe care am găsit-o până acum sau există alte măsuri de precauție pe care ar trebui să le iau înainte de a afișa în alb o adresă Google?

Nu vreau să mă bazez pe alții care caută IP adrese pentru mine, cum ar fi sursa http://www.iplists.com/ , deoarece adresele IP se pot modifica oricând și vreau să actualizez lista albă frecvent.

Comentarii

  • Din păcate, blocarea adreselor IP ‘ folosind o listă albă colectată din dvs. sau oriunde este inutil. Roboții dăunători, răzuitorii și așa mai departe, schimbă frecvent IP ‘. Ei cumpără și vând adrese IP în blocuri, așa cum ar face orice altă companie de găzduire. timpul tău este mai bine să folosești o configurare care restrânge utilizatorii pentru a solicita multă informație pentru a repede, în același mod în care funcționează cele mai ocupate site-uri în zilele noastre, de fapt, la fel ca în această rețea pe care o folosești acum. De asemenea, poți configura o listă neagră r X ore, dacă repetă jignirea, de departe cea mai eficientă metodă, nu vă deranjează nici cea mai sigură metodă.
  • @ SimonHayter Fac același lucru. Am o listă albă și o listă neagră. Lista neagră este aproape goală. Între cele două este o listă gri în care toți utilizatorii sunt urmăriți și determinați să fie oameni sau bot. Dacă sunt un bot, atunci verific lista albă și dacă nu sunt pe listă, atunci primesc conținut nedorit și natura accesului lor înregistrată. Fiecare utilizator este comparat imediat cu fișierul jurnal. Orice lucru din jurnal se curăță în timp dacă nu revine sau începe să se comporte. Acest lucru a funcționat destul de bine și intenționez să îmbunătățesc sistemul în curând.

Răspuns

Din documente oficiale pentru verificarea Googlebot / Google :

Rețineți că Google nu recomandă utilizarea unui static ” whitelist „.

Puteți verifica dacă un crawler web care vă accesează serverul este într-adevăr Googlebot (sau un alt agent de utilizator Google) . Acest lucru este util dacă vă îngrijorează faptul că spammerii sau alți producători de probleme vă accesează site-ul în timp ce pretind că sunt Googlebot. Google nu postează o listă publică de adrese IP pentru webmasteri pe lista albă . Acest lucru se datorează faptului că aceste intervale de adrese IP se pot schimba, provocând probleme oricăror webmasteri care le-au codificat, deci trebuie să efectuați o căutare DNS așa cum este descris în continuare.

Pentru a verifica Googlebot ca apelant:

  1. Rulați o căutare DNS inversă pe adresa IP de acces din jurnalele dvs., utilizând comanda gazdă.
  2. Verificați dacă numele domeniului se află fie în googlebot.com, fie în google.com.
  3. Rulați o căutare DNS înainte pe numele de domeniu recuperat la pasul 1 utilizând comanda gazdă de pe numele de domeniu recuperat. Verificați dacă este la fel ca adresa IP de accesare originală din jurnalele dvs.

(Accentuează-mi propriul) >

Consultați documentele Google pentru un exemplu funcțional:
https://support.google.com/webmasters/answer/80553?hl=en

Răspuns

Mai întâi.

Există două nume de domenii despre care vorbim; Google.com și Googlebot.com. A face o căutare inversă pentru Google.com ar fi înșelător.

Iată un răspuns pe care l-am dat cu ceva timp în urmă, în care am făcut un audit al adreselor IP Google folosite pentru accesarea cu crawlere a site-ului meu de peste 8 ani. Aceasta nu este lista completă, dar ar putea oferi o imagine istorică.

Ce folosește Google 173.194.90.xxx IP ‘ s pentru? De ce nu este un indicator googlebot.com?

În această listă, puteți vedea intervalul de adrese IP 64.249 pe care îl vedeți este corect.

Am făcut o scurtă audit pentru acest răspuns. Aceasta este lista mea albă actuală pentru googlebot (numele agentului). Vă rog să iertați comodinele. Mi-am actualizat codul pentru a înțelege gamele mai eficient, dar nu am actualizat lista. Îmi pare rău.În acest caz, folosesc doar o expresie regulată simplă pentru a compara adresa IP cu lista cu un minim de înșelăciune pentru a înlocui * cu ceva care regex înțelege. Pot compara o adresă IP cu întreaga listă folosind codul meu, astfel încât să fie încă suficient de rapidă. 

64.233.160.* 64.233.161.* 64.233.162.* 64.233.163.* 64.233.164.* 64.233.165.* 64.233.166.* 64.233.167.* 64.233.168.* 64.233.169.* 64.233.170.* 64.233.171.* 64.233.172.* 64.233.173.* 64.233.174.* 64.233.175.* 64.233.176.* 64.233.177.* 64.233.178.* 64.233.179.* 64.233.180.* 64.233.181.* 64.233.182.* 64.233.183.* 64.233.184.* 64.233.185.* 64.233.186.* 64.233.187.* 64.233.188.* 64.233.189.* 64.233.190.* 64.233.191.* 66.249.64.* 66.249.65.* 66.249.66.* 66.249.67.* 66.249.68.* 66.249.69.* 66.249.70.* 66.249.71.* 66.249.72.* 66.249.73.* 66.249.74.* 66.249.75.* 66.249.76.* 66.249.77.* 66.249.78.* 66.249.79.* 66.249.80.* 66.249.82.* 66.249.83.* 66.249.84.* 66.249.85.* 66.249.86.* 66.249.87.* 66.249.88.* 66.249.89.* 66.249.90.* 66.249.91.* 66.249.92.* 66.249.93.* 66.249.94.* 66.249.95.* 74.125.* 173.194.*

GOOGLE.COM.ANGRYPIRATES.COM și GOOGLE.COM .AFRICANBATS.ORG sunt ceea ce este cunoscut sub numele de hack de domeniu sau subdomeniu. Acestea nu aparțin deloc Google. Acesta este ceva ce oricine poate face oricând cu orice nume de domeniu. Fără a intra în detaliile modului în care se face acest lucru, puteți găsi informații pe net. Nu vreau să încurajez acest comportament explicându-l aici.

Comentarii

  • Mulțumesc! Orice fel în care ‘ ați putea furniza lista actualizată, chiar dacă nu într-un format de listă frumos (adică chiar dacă ‘ s într-o regex)? EDIT: Și orice alt robot în afară de Google, de asemenea, dacă aveți și nu vă ‘ vă deranjează să le împărtășiți.

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *