Z tego, czego dowiedziałem się z dzienników serwera, Adresy IP zaczynające się od 64.249 należą do Google. Kiedy wyszukuję hosta na moim komputerze dla Google, otrzymuję 11 różnych adresów IP, z których wszystkie zaczynają się od 74.125.226.

Następnie przechodzę tutaj http://www.iplists.com/ i znaleźć kilka dodatkowych adresów IP dla Google.

Nawet wyszukałem w wierszu poleceń Google i zobaczyłem „Przerywanie wyszukiwania Znaleziono 50 rekordów ….. wraz z całą masą serwerów o nietypowych nazwach, takich jak GOOGLE.COM.ANGRYPIRATES.COM i GOOGLE.COM.AFRICANBATS.ORG. Oraz różnymi adresami IP, których wcześniej nie widziałem, takimi jak 91.218.229.20.

Chcę umieścić na białej liście prawdziwe adresy IP Google. Czy powinienem po prostu zrobić białą listę wszystkich adresów IP, które znalazłem do tej pory, czy są inne środki ostrożności, które powinienem podjąć przed umieszczeniem na białej liście adresu Google?

Nie chcę polegać na innych szukających adresu IP adresy dla mnie, takie jak źródło http://www.iplists.com/ , ponieważ adresy IP mogą się zmienić w dowolnym momencie i chcę zaktualizować często biała lista.

Komentarze

  • Niestety, blokowanie adresów IP ' przy użyciu białej listy zebranej z nie ma sensu ani siebie, ani gdziekolwiek. Szkodliwe boty, skrobaki itp. często zmieniają adres IP ' s. Kupują i sprzedają adresy IP w blokach, jak każda inna firma hostingowa. Zamiast marnować Twój czas lepiej korzystać z konfiguracji, która ogranicza użytkowników do szybkiego żądania dużej ilości informacji, tak samo, jak działają obecnie najbardziej ruchliwe witryny, w rzeczywistości tak samo jak ta sieć, z której teraz korzystasz. Możesz także ustawić czarną listę dla nich r X godzin, jeśli powtarzają się obraźliwie, zdecydowanie najskuteczniejsza metoda, nieważne najbezpieczniejsza.
  • @SimonHayter Robię to samo. Mam białą listę i czarną listę. Czarna lista jest prawie pusta. Między nimi znajduje się szara lista, na której wszyscy użytkownicy są obserwowani i zdeterminowani, aby być ludźmi lub botami. Jeśli są botami, to sprawdzam białą listę, a jeśli nie ma ich na liście, to otrzymują niechcianą zawartość i rejestrowany jest charakter ich dostępu. Każdy użytkownik jest natychmiast porównywany z plikiem dziennika. Wszystko w dzienniku zostanie z czasem usunięte, jeśli nie wróci lub nie zacznie się zachowywać. To zadziałało całkiem nieźle i planuję wkrótce ulepszyć system.

Odpowiedź

Z oficjalne dokumenty do weryfikacji Googlebota / Google :

Pamiętaj, że Google nie zaleca używania statycznego ” biała lista „.

Możesz sprawdzić, czy robot indeksujący uzyskuje dostęp do Twojego serwera tak naprawdę jest Googlebot (lub inny klient użytkownika Google) . Jest to przydatne, jeśli „obawiasz się, że spamerzy lub inni sprawcy kłopotów uzyskują dostęp do Twojej witryny, podając się za Googlebota. Google nie publikuje publicznej listy adresów IP dla webmasterów do umieszczenia na białej liście . Dzieje się tak, ponieważ te zakresy adresów IP mogą się zmieniać, powodując problemy dla wszystkich webmasterów, którzy je zakodowali, więc musisz uruchomić wyszukiwanie DNS zgodnie z opisem poniżej.

Aby zweryfikować Googlebota jako dzwoniącego:

  1. Przeprowadź odwrotne wyszukiwanie DNS adresu IP, z którego uzyskujesz dostęp, z Twoich dzienników, używając polecenia hosta.
  2. Sprawdź, czy nazwa domeny znajduje się w googlebot.com lub google.com.
  3. Przeprowadź wyszukiwanie DNS do przodu nazwy domeny pobranej w kroku 1, używając polecenia hosta w pobranej nazwie domeny. Sprawdź, czy jest to ten sam adres IP, z którego uzyskiwany jest dostęp z Twoich dzienników.

(Podkreśl moje własne)

Zapoznaj się z dokumentami Google, aby zapoznać się z praktycznym przykładem:
https://support.google.com/webmasters/answer/80553?hl=en

Odpowiedź

Najpierw najważniejsze.

Mówimy o dwóch nazwach domen; Google.com i Googlebot.com. Odwrotne wyszukiwanie witryny Google.com byłoby mylące.

Oto odpowiedź, której udzieliłem jakiś czas temu, w której przeprowadziłem audyt adresów IP Google używanych do indeksowania mojej witryny przez 8 lat. To nie jest ostateczna lista, ale może dać widok historyczny.

Jak Google używa 173.194.90.xxx IP ' s dla? Dlaczego nie jest to wskaźnik googlebot.com?

Na tej liście widać, że zakres adresów IP 64.249 jest prawidłowy.

Szybko audyt dla tej odpowiedzi. To jest moja obecna biała lista dla Googlebota (nazwa agenta). Wybacz, proszę, wieloznaczność. Zaktualizowałem kod, aby lepiej rozumieć zakresy, ale nie zaktualizowałem listy. Przepraszam.W tym przypadku używam po prostu prostego wyrażenia regularnego, aby porównać adres IP z listą przy minimalnej sztuczce polegającej na zastąpieniu * czymś, co jest zrozumiałe dla wyrażenia regularnego. Mogę porównać adres IP z całą listą za pomocą mojego kodu, aby nadal był wystarczająco szybki. 

64.233.160.* 64.233.161.* 64.233.162.* 64.233.163.* 64.233.164.* 64.233.165.* 64.233.166.* 64.233.167.* 64.233.168.* 64.233.169.* 64.233.170.* 64.233.171.* 64.233.172.* 64.233.173.* 64.233.174.* 64.233.175.* 64.233.176.* 64.233.177.* 64.233.178.* 64.233.179.* 64.233.180.* 64.233.181.* 64.233.182.* 64.233.183.* 64.233.184.* 64.233.185.* 64.233.186.* 64.233.187.* 64.233.188.* 64.233.189.* 64.233.190.* 64.233.191.* 66.249.64.* 66.249.65.* 66.249.66.* 66.249.67.* 66.249.68.* 66.249.69.* 66.249.70.* 66.249.71.* 66.249.72.* 66.249.73.* 66.249.74.* 66.249.75.* 66.249.76.* 66.249.77.* 66.249.78.* 66.249.79.* 66.249.80.* 66.249.82.* 66.249.83.* 66.249.84.* 66.249.85.* 66.249.86.* 66.249.87.* 66.249.88.* 66.249.89.* 66.249.90.* 66.249.91.* 66.249.92.* 66.249.93.* 66.249.94.* 66.249.95.* 74.125.* 173.194.*

GOOGLE.COM.ANGRYPIRATES.COM i GOOGLE.COM .AFRICANBATS.ORG to tak zwane hackowanie domeny lub subdomeny. Te w ogóle nie należą do Google. To jest coś, co każdy może zrobić w dowolnym momencie dla dowolnej nazwy domeny. Bez wchodzenia w szczegóły, jak to się robi, możesz znaleźć informacje w sieci. Nie chcę zachęcać do tego zachowania, wyjaśniając to tutaj.

Komentarze

  • Dzięki! W jakikolwiek sposób ' d będziesz w stanie dostarczyć zaktualizowaną listę, nawet jeśli nie jest w ładnym formacie listy (tj. Nawet jeśli ' s w wyrażeniu regularnym)? EDYCJA: Oraz wszystkie inne boty oprócz Google, jeśli je masz i nie ' nie masz nic przeciwko udostępnianiu ich.

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *