Daprès ce que jai appris dans les journaux de mon serveur, Les adresses IP commençant par 64.249 appartiennent à google. Lorsque je recherche un hôte sur mon ordinateur pour Google, je reçois 11 adresses IP différentes commençant toutes par 74.125.226.

Je vais ensuite ici http://www.iplists.com/ et découvrez « un tas dadresses IP supplémentaires pour Google.

Jai même fait une recherche whois dans une invite de commande pour google et voir » Abandon de la recherche 50 enregistrements trouvés ….. « avec tout un tas de serveurs avec des noms inhabituels tels que GOOGLE.COM.ANGRYPIRATES.COM et GOOGLE.COM.AFRICANBATS.ORG. Avec différentes adresses IP que je nai pas vues auparavant, telles que 91.218.229.20.

Ce que je veux faire, cest mettre sur liste blanche les vraies adresses IP de Google. Dois-je simplement aller de lavant et mettre en liste blanche toutes les adresses IP que jai trouvées jusquà présent ou y a-t-il dautres précautions à prendre avant de lister une adresse Google en blanc?

Je ne veux pas compter sur les autres pour rechercher une adresse IP adresses pour moi telles que la source http://www.iplists.com/ car les adresses IP peuvent changer à tout moment et je souhaite mettre à jour mon liste blanche fréquemment.

Commentaires

  • Malheureusement, bloquer les adresses IP ‘ à laide dune liste blanche collectée à partir de vous-même ou nimporte où est inutile. Les bots nuisibles, les scrapers, etc. changent fréquemment dIP ‘ s. Ils achètent et vendent des adresses IP par blocs, comme nimporte quelle autre société dhébergement. votre temps est préférable dutiliser une configuration qui limite les utilisateurs à demander trop dinformations trop rapidement, de la même manière que la plupart des sites occupés fonctionnent de nos jours, en fait également la même que ce réseau que vous utilisez actuellement. Vous pouvez également configurer une liste noire pour eux. r X heures sils récidivent, de loin la méthode la plus efficace, sans parler de la méthode la plus sûre.
  • @SimonHayter Je fais la même chose. Jai une liste blanche et une liste noire. La liste noire est presque vide. Entre les deux se trouve une liste grise où tous les utilisateurs sont surveillés et déterminés à être humains ou bot. Sils sont des robots, je vérifie la liste blanche et sils ne figurent pas sur la liste, ils obtiennent le contenu indésirable et la nature de leur accès enregistrés. Chaque utilisateur est immédiatement comparé au fichier journal. Tout ce qui se trouve dans le journal est purgé au fil du temps sil ne revient pas ou ne commence pas à se comporter. Cela a plutôt bien fonctionné et je prévois d’améliorer le système prochainement.

Réponse

De la documents officiels pour vérifier Googlebot / Google :

Notez que Google ne recommande pas dutiliser un statique  » liste blanche « .

Vous pouvez vérifier si un robot dexploration accède à votre serveur est vraiment Googlebot (ou un autre agent utilisateur Google) . Ceci est utile si vous craignez que des spammeurs ou autres fauteurs de troubles accèdent à votre site en prétendant être Googlebot. Google ne publie pas une liste publique dadresses IP pour les webmasters à ajouter à la liste blanche . En effet, ces plages dadresses IP peuvent changer, causant des problèmes à tous les webmasters qui les ont codées en dur, vous devez donc exécuter une recherche DNS comme décrit ci-après.

Pour vérifier que Googlebot est lappelant:

  1. Exécutez une recherche DNS inversée sur ladresse IP daccès à partir de vos journaux, à laide de la commande host.
  2. Vérifiez que le nom de domaine se trouve dans googlebot.com ou google.com.
  3. Exécutez une recherche DNS directe sur le nom de domaine récupéré à létape 1 à laide de la commande host sur le nom de domaine récupéré. Vérifiez quelle est la même que ladresse IP daccès dorigine de vos journaux.

(je souligne)

Consultez la documentation Google pour un exemple concret:
https://support.google.com/webmasters/answer/80553?hl=en

Réponse

Tout dabord.

Il y a deux noms de domaine dont nous parlons; Google.com et Googlebot.com. Faire une recherche inversée pour Google.com serait trompeur.

Voici une réponse que jai donnée il y a pas mal de temps où jai fait un audit des adresses IP de Google utilisées pour explorer mon site pendant 8 ans. Ce nest pas la liste de tous les finaux, mais pourrait donner une vue historique.

Quest-ce que Google utilise 173.194.90.xxx IP ‘ s pour? Pourquoi nest-ce pas un pointeur googlebot.com?

Dans cette liste, vous pouvez voir que la plage dadresses IP 64.249 que vous voyez est correcte.

Jai fait un rapide audit pour cette réponse. Ceci est ma liste blanche actuelle pour googlebot (nom de lagent). Veuillez pardonner le caractère générique. Jai mis à jour mon code pour comprendre les plages plus efficacement, mais je nai pas mis à jour la liste. Pardon.Dans ce cas, jutilise juste une simple expression régulière pour comparer ladresse IP à la liste avec un minimum de supercherie pour remplacer le * par quelque chose que regex comprend. Je peux comparer une adresse IP à la liste entière en utilisant mon code pour quelle soit encore assez rapide. 

64.233.160.* 64.233.161.* 64.233.162.* 64.233.163.* 64.233.164.* 64.233.165.* 64.233.166.* 64.233.167.* 64.233.168.* 64.233.169.* 64.233.170.* 64.233.171.* 64.233.172.* 64.233.173.* 64.233.174.* 64.233.175.* 64.233.176.* 64.233.177.* 64.233.178.* 64.233.179.* 64.233.180.* 64.233.181.* 64.233.182.* 64.233.183.* 64.233.184.* 64.233.185.* 64.233.186.* 64.233.187.* 64.233.188.* 64.233.189.* 64.233.190.* 64.233.191.* 66.249.64.* 66.249.65.* 66.249.66.* 66.249.67.* 66.249.68.* 66.249.69.* 66.249.70.* 66.249.71.* 66.249.72.* 66.249.73.* 66.249.74.* 66.249.75.* 66.249.76.* 66.249.77.* 66.249.78.* 66.249.79.* 66.249.80.* 66.249.82.* 66.249.83.* 66.249.84.* 66.249.85.* 66.249.86.* 66.249.87.* 66.249.88.* 66.249.89.* 66.249.90.* 66.249.91.* 66.249.92.* 66.249.93.* 66.249.94.* 66.249.95.* 74.125.* 173.194.*

GOOGLE.COM.ANGRYPIRATES.COM et GOOGLE.COM .AFRICANBATS.ORG sont ce que lon appelle un hack de domaine ou de sous-domaine. Ceux-ci nappartiennent pas du tout à Google. Cest quelque chose que nimporte qui peut faire à nimporte quel nom de domaine à tout moment. Sans entrer dans les détails de la procédure, vous pouvez trouver des informations sur le net. Je ne veux pas encourager ce comportement en lexpliquant ici.

Commentaires

  • Merci! De toute façon, vous ‘ être en mesure de fournir la liste mise à jour, même si ce nest pas dans un format de liste agréable (cest-à-dire même si elle ‘ dans une regex)? EDIT: Et tous les autres bots en plus de Google, si vous les avez et que ‘ ne vous dérange pas de les partager.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *