내 서버 로그에서 배운 내용에서, 64.249로 시작하는 IP 주소는 google에 속합니다. 컴퓨터에서 Google에 대한 호스트 조회를 수행하면 74.125.226으로 시작하는 11 개의 서로 다른 IP 주소를받습니다.

그런 다음 여기로 이동합니다. http://www.iplists.com/ 그리고 “Google에 대한 더 많은 IP 주소를 찾아보세요.

Google 명령 프롬프트에서 whois 조회를 수행하고”검색 중단 50 개의 레코드를 찾았습니다. ….. “와 GOOGLE.COM.ANGRYPIRATES.COM 및 GOOGLE.COM.AFRICANBATS.ORG와 같은 비정상적인 이름을 가진 전체 서버와 이전에 본 적이없는 다른 IP 주소 91.218.229.20.

내가 원하는 것은 실제 Google IP 주소를 허용 목록에 추가하는 것입니다. 지금까지 찾은 모든 IP 주소를 허용 목록에 추가해야합니까, 아니면 Google 주소를 허용 목록에 추가하기 전에 취해야 할 다른 예방 조치가 있습니까?

다른 사람이 IP를 검색하는 것에 의존하고 싶지 않습니다. 소스 http://www.iplists.com/ 와 같은 저의 주소는 IP 주소가 언제든지 변경 될 수 있고 내 화이트리스트를 자주 사용합니다.

댓글

  • 슬프게도 IP '에서 수집 된 화이트리스트를 사용하여 차단합니다. 자신이나 어디에서나 무의미합니다. 유해한 봇, 스크레이퍼 등은 자주 IP '를 변경합니다. 다른 호스팅 회사와 마찬가지로 블록 단위로 IP 주소를 사고 팔 수 있습니다. 낭비하는 대신 사용자가 많은 정보를 요청하는 속도를 제한하는 설정을 사용하는 것이 좋습니다. 요즘 대부분의 바쁜 사이트가 작동하는 방식과 동일합니다. 실제로 현재 사용중인 네트워크와 동일합니다. 또한 블랙리스트를 설정할 수도 있습니다. r 반복해서 불쾌감을 느끼는 경우 X 시간, 가장 효과적인 방법은 가장 안전한 방법은 신경 쓰지 마십시오.
  • @SimonHayter 저도 똑같은 일을합니다. 화이트리스트와 블랙리스트가 있습니다. 블랙리스트가 거의 비어 있습니다. 둘 사이에는 모든 사용자가 감시되고 인간 또는 봇으로 결정되는 회색 목록이 있습니다. 그들이 봇인 경우 화이트리스트를 확인하고 목록에 없으면 정크 콘텐츠와 액세스 특성이 기록됩니다. 모든 사용자는 즉시 로그 파일과 비교됩니다. 로그에있는 모든 항목이 돌아 오지 않거나 작동을 시작하지 않으면 시간이 지남에 따라 제거됩니다. 이것은 상당히 잘 작동했으며 곧 시스템을 개선 할 계획입니다.

답변

Googlebot / Google 확인을위한 공식 문서 :

Google은 정적 허용 목록 ".

웹 크롤러가 서버에 액세스하는지 확인할 수 있습니다. 실제로는 Googlebot (또는 다른 Google 사용자 에이전트) 입니다. 이 기능은 “스패머 나 다른 문제 발생자가 Googlebot이라고 주장하면서 사이트에 액세스하는 것이 염려되는 경우 유용합니다. Google은 웹 마스터가 허용 할 IP 주소의 공개 목록을 게시하지 않습니다. . 이는 이러한 IP 주소 범위가 변경 될 수 있기 때문에 하드 코딩 한 웹 마스터에게 문제를 일으킬 수 있으므로 다음에 설명 된대로 DNS 조회를 실행해야합니다.

Googlebot을 호출자로 확인하려면 :

  1. 호스트 명령을 사용하여 로그에서 액세스하는 IP 주소에 대해 역방향 DNS 조회를 실행합니다.
  2. 도메인 이름을 확인합니다. googlebot.com 또는 google.com에 있습니다.
  3. 검색된 도메인 이름에서 host 명령어를 사용하여 1 단계에서 검색 한 도메인 이름에 대해 정방향 DNS 조회를 실행합니다. 로그의 원래 액세스 IP 주소와 동일한 지 확인합니다.

(Emphasis my own)

실용 한 예는 Google 문서를 참조하세요.
https://support.google.com/webmasters/answer/80553?hl=en

답변

먼저 먼저.

우리가 이야기하고있는 두 가지 도메인 이름이 있습니다. Google.com 및 Googlebot.com. Google.com에 대해 역방향 조회를 수행하는 것은 오해의 소지가 있습니다.

다음은 8 년 동안 내 사이트를 크롤링하는 데 사용 된 Google IP 주소에 대한 감사를 수행 한 꽤 오래 전에 제공 한 답변입니다. 이것은 완전한 최종 목록은 아니지만 이전보기를 제공 할 수 있습니다.

Google은 173.194.90.xxx IP를 사용하는 것 '? googlebot.com 포인터가 아닌 이유는 무엇입니까?

이 목록에서보고있는 IP 주소 범위 64.249가 올바른지 확인할 수 있습니다.

이 답변에 대한 감사. 이것은 googlebot (에이전트 이름)의 현재 허용 목록입니다. 와일드 카드를 용서하십시오. 범위를보다 효율적으로 이해하기 위해 코드를 업데이트했지만 목록은 업데이트하지 않았습니다. 죄송합니다.이 경우 간단한 정규식을 사용하여 IP 주소를 목록과 비교하여 최소한의 속임수로 *를 정규식이 이해하는 것으로 대체합니다. 내 코드를 사용하여 전체 목록과 IP 주소를 비교할 수 있으므로 여전히 충분히 빠릅니다. 

64.233.160.* 64.233.161.* 64.233.162.* 64.233.163.* 64.233.164.* 64.233.165.* 64.233.166.* 64.233.167.* 64.233.168.* 64.233.169.* 64.233.170.* 64.233.171.* 64.233.172.* 64.233.173.* 64.233.174.* 64.233.175.* 64.233.176.* 64.233.177.* 64.233.178.* 64.233.179.* 64.233.180.* 64.233.181.* 64.233.182.* 64.233.183.* 64.233.184.* 64.233.185.* 64.233.186.* 64.233.187.* 64.233.188.* 64.233.189.* 64.233.190.* 64.233.191.* 66.249.64.* 66.249.65.* 66.249.66.* 66.249.67.* 66.249.68.* 66.249.69.* 66.249.70.* 66.249.71.* 66.249.72.* 66.249.73.* 66.249.74.* 66.249.75.* 66.249.76.* 66.249.77.* 66.249.78.* 66.249.79.* 66.249.80.* 66.249.82.* 66.249.83.* 66.249.84.* 66.249.85.* 66.249.86.* 66.249.87.* 66.249.88.* 66.249.89.* 66.249.90.* 66.249.91.* 66.249.92.* 66.249.93.* 66.249.94.* 66.249.95.* 74.125.* 173.194.*

GOOGLE.COM.ANGRYPIRATES.COM 및 GOOGLE.COM .AFRICANBATS.ORG는 도메인 또는 하위 도메인 해킹으로 알려진 것입니다. 이것들은 Google에 전혀 속하지 않습니다. 이것은 누구나 도메인 이름에 대해 언제든지 할 수있는 일입니다. 이것이 어떻게 수행되는지에 대한 세부 사항에 들어 가지 않고도 인터넷에서 정보를 찾을 수 있습니다. 여기에 설명함으로써 이러한 행동을 장려하고 싶지 않습니다.

댓글

  • 감사합니다! 어떤 방식 으로든 ' 멋진 목록 형식이 아니더라도 업데이트 된 목록을 제공 할 수 있습니다 (예 : ' 정규식에서)? 수정 : Google 이외의 다른 봇도 보유하고 있고 ' 공유해도 상관 없습니다.

답글 남기기

이메일 주소를 발행하지 않을 것입니다. 필수 항목은 *(으)로 표시합니다