Z toho, co jsem se dozvěděl v protokolech serveru, IP adresy začínající 64.249 patří google. Když na svém počítači vyhledám hostitele pro google, dostanu 11 různých IP adres, počínaje 74.125.226.
Pak přejdu sem http://www.iplists.com/ a zjistím, že existuje spousta dalších IP adres pro google.
Dokonce jsem vyhledal whois v příkazovém řádku pro google a viděl „Přerušení vyhledávání“ Nalezeno 50 záznamů ….. „spolu s celou řadou serverů s neobvyklými názvy, jako jsou GOOGLE.COM.ANGRYPIRATES.COM a GOOGLE.COM.AFRICANBATS.ORG. Spolu s různými IP adresami, které jsem dříve neviděl, jako například 91.218.229.20.
Chci udělat, je přidat na seznam povolených skutečné adresy IP google. Měl bych jen pokračovat a vypsat každou jednotlivou IP adresu, kterou jsem dosud našel, nebo existují další opatření, která bych měl udělat před bílým vypsáním adresy Google?
Nechci se spoléhat na ostatní, kteří hledají IP adresy pro mě, například zdroj http://www.iplists.com/ , protože adresy IP se mohou kdykoli změnit a chci aktualizovat své bílý seznam často.
Komentáře
- Bohužel blokování IP ' s pomocí bílého seznamu shromážděného od sami nebo kdekoli je to zbytečné. Škodliví roboti, škrabky atd. často mění IP ' s. Nakupují a prodávají adresy IP v blocích, jako by to udělala jakákoli jiná hostitelská společnost. Spíše než plýtvání Váš čas je lepší použít nastavení, které škrtí uživatele, aby rychle požadovali mnoho informací, stejně jako většina dnešních rušných webů, ve skutečnosti stejně jako tato síť, kterou používáte nyní. Můžete je také nastavit na černou listinu r X hodin, pokud opakují urážku, zdaleka nejúčinnější metoda, nevadí nejbezpečnější metoda.
- @SimonHayter dělám totéž. Mám bílou a černou listinu. Černá listina je téměř prázdná. Mezi nimi je šedý seznam, kde jsou všichni uživatelé sledováni a určeni jako lidé nebo jako roboti. Pokud se jedná o robota, zkontroluji bílý seznam a pokud nejsou na seznamu, dostanou nevyžádaný obsah a povahu jejich přístupu. Každý uživatel je okamžitě porovnán se souborem protokolu. Cokoli v protokolu se v průběhu času vyčistí, pokud se nevrátí nebo se nezačne chovat. To fungovalo celkem dobře a plánuji brzy vylepšit systém.
Odpovědět
Z oficiální dokumenty k ověření Googlebota / Google :
Upozorňujeme, že Google nedoporučuje používat statický " whitelist ".
Můžete ověřit, zda webový prohledávač přistupuje k vašemu serveru ve skutečnosti je Googlebot (nebo jiný uživatelský agent Google) . To je užitečné, pokud se obáváte, že spammeři nebo jiní potížisté přistupují k vašemu webu a tvrdí, že jsou Googlebot. Google nezveřejňuje veřejný seznam IP adres pro webmastery, aby přidali na seznam povolených . Je to proto, že se tyto rozsahy adres IP mohou změnit, což způsobí problémy všem webmasterům, kteří je pevně zakódují, takže je nutné spustit vyhledávání DNS, jak je popsáno dále.
Ověření Googlebota jako volajícího:
- Spusťte zpětné vyhledávání DNS na přístupové IP adrese z vašich protokolů pomocí příkazu hostitele.
- Ověřte, že název domény je na googlebot.com nebo google.com.
- Spustit dopředné vyhledávání DNS na název domény načtený v kroku 1 pomocí příkazu hostitele na načtený název domény. Ověřte, že je stejná jako původní přístupová adresa IP z vašich protokolů.
(Důraz na mou vlastní)
Vypracovaný příklad najdete v dokumentech Google:
https://support.google.com/webmasters/answer/80553?hl=en
Odpověď
Nejdříve nejdříve.
Mluvíme o dvou doménových jménech; Google.com a Googlebot.com. Zpětné vyhledávání pro Google.com by bylo zavádějící.
Zde je odpověď, kterou jsem dal před nějakou dobou, kdy jsem během 8 let prováděl audit IP adres Google použitých k procházení mého webu. Toto není úplný seznam všech, ale může poskytnout historický pohled.
Co Google používá 173.194.90.xxx IP ' s pro? Proč to není ukazatel googlebot.com?
V tomto seznamu vidíte rozsah IP adres 64.249, který vidíte, je správný.
Udělal jsem rychlý audit této odpovědi. Toto je můj aktuální bílý seznam pro googlebot (jméno agenta). Odpusťte prosím zástupné znaky. Aktualizoval jsem svůj kód, abych lépe porozuměl rozsahům, ale neaktualizoval jsem seznam. Promiňte.V tomto případě stačí použít jednoduchý regulární výraz k porovnání IP adresy se seznamem s minimem podvodů, abych nahradil * něčím, čemu regex rozumí. Pomocí svého kódu můžu porovnat IP adresu s celým seznamem, takže je stále dostatečně rychlý.
64.233.160.* 64.233.161.* 64.233.162.* 64.233.163.* 64.233.164.* 64.233.165.* 64.233.166.* 64.233.167.* 64.233.168.* 64.233.169.* 64.233.170.* 64.233.171.* 64.233.172.* 64.233.173.* 64.233.174.* 64.233.175.* 64.233.176.* 64.233.177.* 64.233.178.* 64.233.179.* 64.233.180.* 64.233.181.* 64.233.182.* 64.233.183.* 64.233.184.* 64.233.185.* 64.233.186.* 64.233.187.* 64.233.188.* 64.233.189.* 64.233.190.* 64.233.191.* 66.249.64.* 66.249.65.* 66.249.66.* 66.249.67.* 66.249.68.* 66.249.69.* 66.249.70.* 66.249.71.* 66.249.72.* 66.249.73.* 66.249.74.* 66.249.75.* 66.249.76.* 66.249.77.* 66.249.78.* 66.249.79.* 66.249.80.* 66.249.82.* 66.249.83.* 66.249.84.* 66.249.85.* 66.249.86.* 66.249.87.* 66.249.88.* 66.249.89.* 66.249.90.* 66.249.91.* 66.249.92.* 66.249.93.* 66.249.94.* 66.249.95.* 74.125.* 173.194.* GOOGLE.COM.ANGRYPIRATES.COM a GOOGLE.COM .AFRICANBATS.ORG jsou tzv. Doménové nebo subdoménové hacky. Ty vůbec nepatří společnosti Google. To je něco, co může kdokoli kdykoli udělat s jakýmkoli názvem domény. Bez podrobností o tom, jak se to děje, najdete informace na internetu. Nechci toto chování podporovat vysvětlením zde.
Komentáře
- Děkuji! Jakkoli můžete ' d poskytnout aktualizovaný seznam, i když ne ve formátu pěkného seznamu (tj. I když je ' s v regulárním výrazu)? EDIT: A také jakékoli jiné roboty kromě Google, pokud je máte a ' nemůžete je sdílet.