サーバーログで学んだことから、 64.249で始まるIPアドレスはgoogleに属しています。コンピューターでGoogleのホスト検索を実行すると、すべて74.125.226で始まる11の異なるIPアドレスを受け取ります。
次に、ここに移動します http://www.iplists.com/ そしてそこを見つけてください “googleのIPアドレスがたくさんあります。
googleのコマンドプロンプトでwhoisルックアップを実行し、”検索の中止50件のレコードが見つかりました….. “GOOGLE.COM.ANGRYPIRATES.COMやGOOGLE.COM.AFRICANBATS.ORGなどの珍しい名前のサーバーと、これまでに見たことのないさまざまなIPアドレスなどがあります。 91.218.229.20。
私がやりたいのは、実際のGoogleIPアドレスをホワイトリストに登録することです。これまでに見つけたすべてのIPアドレスをホワイトリストに登録する必要がありますか、それともGoogleアドレスをホワイトリストに登録する前に他の予防策を講じる必要がありますか？
IPを検索している他の人に頼りたくないソース http://www.iplists.com/ などのアドレスは、IPアドレスはいつでも変更される可能性があり、更新したいのでホワイトリストは頻繁に使用されます。
コメント
- 残念ながら、から収集されたホワイトリストを使用してIP 'をブロックします。自分自身やどこでも無意味です。有害なボットやスクレーパーなどは、IP 'を頻繁に変更します。他のホスティング会社と同じように、IPアドレスをブロック単位で売買します。無駄にするのではありません。最近のほとんどの忙しいサイトが機能するのと同じように、実際には現在使用しているこのネットワークと同じように、ユーザーが多くの情報を要求するように制限する設定を使用する方がよいでしょう。また、それらのブラックリストを設定することもできます。 r X時間、不快感を繰り返す場合、これまでで最も効果的な方法ですが、最も安全な方法を気にしないでください。
- @SimonHayter私も同じことをします。ホワイトリストとブラックリストがあります。ブラックリストはほとんど空です。 2つの間には、すべてのユーザーが監視され、人間またはボットであると判断された灰色のリストがあります。それらがボットである場合は、ホワイトリストを確認し、リストにない場合は、ジャンクコンテンツとアクセスの性質をログに記録します。すべてのユーザーはすぐにログファイルと比較されます。ログ内のすべてのものは、戻ってこないか、動作を開始しない場合、時間の経過とともにパージされます。これはかなりうまく機能しており、すぐにシステムを改善する予定です。
回答
Googlebot / Googleを確認するための公式ドキュメント：
Googleは静的 whitelist "。
Webクローラーがサーバーにアクセスしているかどうかを確認できます実際には Googlebot（または別のGoogleユーザーエージェント）です。これは、スパマーやその他のトラブルメーカーがGooglebotであると主張しているときにサイトにアクセスしていることが懸念される場合に役立ちます。 GoogleはウェブマスターのIPアドレスの公開リストをホワイトリストに投稿しません。これは、これらのIPアドレス範囲が変更される可能性があるためです。は、それらをハードコーディングしたWebマスターに問題を引き起こすため、次に説明するようにDNSルックアップを実行する必要があります。
Googlebotを発信者として確認するには：
- hostコマンドを使用して、ログからアクセスしているIPアドレスに対して逆引きDNSルックアップを実行します。
- ドメイン名を確認します。はgooglebot.comまたはgoogle.comのいずれかにあります。
- 取得したドメイン名に対してhostコマンドを使用して、手順1で取得したドメイン名に対して逆引きDNSルックアップを実行します。ログからの元のアクセスIPアドレスと同じであることを確認します。
（自分自身を強調）
実際の例については、Googleドキュメントを参照してください：
https://support.google.com/webmasters/answer/80553?hl=en