Jen pár hodin zpět jsem kontroloval své protokoly, když jsem našel spoustu přenosů z adresy IP 54.174.xx.xx a ISP Amazon.com (ověřeno z Google Analytics). Trvalo to hodinu a pak se všechno zdálo normální.
To je něco velmi nenormálního. Vyšetřoval jsem dále a jsem zmatený, když jsem zjistil, že to vlastně nebyl robot (myslím, že ano), protože vidím, že uživatelé (například s ip 54.174.59.201) dokonce klikli na miniatury postranní panel. Prohlížeče, operační systémy a rozlišení obrazovek jsou však pro všechny relace stejné.
Co je příčinou a co dělat?
Komentáře
- Ashburn je domovem mnoha datová centra a existuje několik věcí, které můžete zkontrolovat, abyste se pokusili určit povahu provozu: zdroj / médium, vstupní stránka, síťová doména … budete ' budete muset zkuste zde najít vzor, ale bohužel to může být něco, čemu se ' nebudete moci vyhnout, protože provoz může být legitimní.
- Může je to trochu komplikované? Vstupní stránky se liší podle relace, i když 8–10% je podobných. Zdroj / médium je přímé nebo není nastaveno. Mám podezření, že faul hraje hlavně proto, že ' má příliš mnoho relací se stejným prohlížečem / OS / rozlišením a podobnou IP.
- Jaké jsou vstupní stránky? Ve většině případů, pokud je ' s aktivitou robota, mohou být všechny vstupní stránky stejné. Zkontrolujte také míru okamžitého opuštění.
- @nyuen vytváří platný bod. Bylo by mnohem lepší, kdybychom viděli samotné položky protokolu, abychom vám řekli, na co se opravdu chystají. Mějte prosím na paměti, že Amazon jako ISP je velmi tolerantní a je v mé databázi zneužívání číslo 2, když jsem naposledy provedl audit, který byl před chvílí. Existuje mnoho lidí, kteří používají Amazon ke škrábání a zneužívání webových stránek. Nezapomeňte na zaměstnance, není to pravděpodobně uživatel. Je to pravděpodobně stroj, a proto je bezpečné jej zablokovat. Zakazuji pouze dvě sítě, archive.org a amazon.
- @closetnoc, takže je důvod, proč blokujete archive.org a amazon – protože skutečně zakrývají oči nad aktivitou svých zákazníků v jejich síti?
Odpověď
Měli jsme stejný problém a ukázalo se, že jde o Pingdom (služba monitorování webových stránek).
Někdo jej nakonfiguroval tak, aby každých 5 minut testoval ping na náš web a přihlašoval se, což mělo za následek tisíce zásahů za měsíc z Ashburnu ve státě VA u poskytovatele služeb Amazonu. Čas na místě byl pokaždé jen zlomek sekundy.
Pingdom navrhuje povolit blokování známého provozu robotů pomocí nastavení v GA: https://help.pingdom.com/hc/en-us/articles/212979949-What-analytics-will-Pingdom-checks-and-products-trigger –
Komentáře
- Pingdom používáme již dlouho, ale nikdy jsme neměli takový problém!
- Pingdom vysvětluje, že: " Vzhledem k tomu, že Pingdom má různé služby, chování při spouštění různých analýz, které na svém webu můžete mít, se bude lišit. Základní / Uptime kontroly nespustí žádnou analytiku, která používá JS. " V našem případě používáme službu, která se skutečně přihlásí na našem webu, abychom ověřili, že auth funguje, což provede JS a tím spouští náš Správce značek Google / GA.
Odpověď
POZNÁMKA: Říkal bych si n00b vývojář z Down Under.
Ve vztahu k OP mě sem vede vyhledávání Google níže uvedené IP adresy.
Ve snaze minimalizovat Spam nastavte tuto špatnou botu blackhole podle : https://perishablepress.com/blackhole-bad-bots/
První zásah hlášený Blackhole byl zčásti:
Úterý 27. listopadu 2018 @ 11:36:37
Požadavek na URL: / blackhole / IP adresa: 52.200.221.20 Uživatelský agent: Mozilla / 5.0 (Windows NT 6.1) AppleWebKit / 537.2 (KHTML , jako Gecko) Chrome / 22.0.1216.0 Safari / 537.2
Vyhledávání Whois:
Na data a služby ARIN WHOIS se vztahují podmínky použití dostupné na: https://www.arin.net/whois_tou.html Pokud ve výsledcích uvidíte nepřesnosti, nahlaste to prosím na https://www.arin.net/resources/whois_reporting/index.html Copyright 1997-2018, americký registr pro Internet Numbers, Ltd.
NetRange: 52.192.0.0 – 52.223.255.255 CIDR: 52.192.0.0/11 NetName: AT-88-Z NetHandle: NET-52-192-0-0-1 Parent : NET52 (NET-52-0-0-0-0) NetType: Direct Allocation OriginAS:
Organizace: Amazon Technologies Inc. (AT-88-Z) RegDate: 2015-09-02 Aktualizováno: 2015-09- 02 Ref: https://rdap.arin.net/registry/ip/52.192.0.0 Název organizace: Amazon Technologies Inc. OrgId: AT-88-Z Adresa: 410 Terry Ave N .Město: Seattle StateProv: WA PostalCode: 98109 Země: US RegDate: 2011-12-08 Aktualizováno: 2017-01-28
Pokud se jednalo o legálního robota, měl by NE se nepokusili o přístup do tohoto adresáře / blackhole, protože robots.txt to konkrétně nepovolil.
Zneužití Reporty IPDB: v našich databáze!
Tato IP byla nahlášena 49krát. Důvěra zneužití je 43%.
Podle mě blackhole kód ukazuje, že to není legitimní chování, a nyní je IP zakázán přístup na web, na který cílí. Ostražitost je tedy rozhodující.
Odpověď
Na co si musíte dávat pozor je, že Amazon není jen web poskytovatel, ale je také poskytovatelem cloudových služeb a má také službu, pomocí níž mohou uživatelé přistupovat k virtualizovanému desktopovému rozhraní v síti Amazon jako relace vzdálené plochy. Tato konkrétní služba používá bránu Windows Server, takže rozlišení plochy a otisk prstu OS budou obecně stejné. Pouhé zobrazení těchto položek ve vašich protokolech není ze své podstaty špatná věc, pokud neuvidíte provoz, který naznačuje, že se pokouší narušit zabezpečení vašeho webu, nebo nepoužívají služby k provádění škodlivých akcí nebo spamování na vašem webu.